Pravděpodobnost a statistika II

Transkript

1 Pravděpodobost a statistika II RNDr. Marie Forbelská, Ph.D. Mgr. Ja Koláček, Ph.D. Přírodovědecká fakulta Masarykovy uiverzity p 0 (x p (x β α µ 0 µ W 0 Vytvořeo ve spolupráci se Servisím střediskem pro e-learig a MU, Tiskový výstup publikace vydaé a Elportále MU ( c 03 Masarykova uiverzita

2 M4 Pravděpodobost a statistika II Defiice.3. Nechť g(x je ějaká hustota. Defiujme rodiy rozděleí F = {f(x; θ=g(x θ; θ R} F = { f(x; δ= g ( } x δ δ ; δ >0 F 3 = { f(x; θ, δ= g ( } x θ δ δ ; θ R, δ >0 Pakříkáme,že F jerodiasparametrempolohy(locatiofamily, F jerodia sparametremměřítka(scalefamilya F 3 jerodiasparametrempolohyaměřítka(locatio-scale family. Cílem teorie odhadu je a základě áhodého výběru odhadout rozděleí pravděpodobosti, popřípadě ěkteré parametry tohoto rozděleí, aebo alézt odhad ějaké fukce parametrů θ, tj. γ(θ. Fukci γ(θ azýváme parametrickou fukcí. V matematické statistice se pro fukce, pomocí kterých budeme odhady provádět, azývají statistikou. (Tyto fukce jsou avíc měřitelé. Defiice.4.Libovolouáhodouveličiu T,kterávzikejakofukceáhodého výběrux =(X,...,X,budemeazývatstatistikou,tj. T = T(X,...,X. Příklad.5. Výběrová(empirická distribučí fukce. Ukážeme, jakým způsobem lze apříklad iformaci obsažeou v áhodém výběru zužitkovat k popisu distribučí fukce. Mějme {X,...,X } F(x; θ. { x B, Zaveďmetzv.idikátormožiypředpisem: I B (x= 0 x / B { X i x, apro x Ridikátorjevu: I i (x=i (,x> (X i = pro,...,. 0 X i > x. Potom I (x,...,i (xjsouezávisléáhodéveličiysestejýmalterativímrozděleím pravděpodobostí s parametrem π (0,, tj. {I,..., I } A(π.Parametr πjerove pravděpodobosti úspěchu, tj. P(I i (x==p(x i x=f(x; θ {I,...,I } A(π=F(x; θ. Položme a postupě počítejme EF (x = E Y(x Y(x = I i(x F (x = Y(x = Y = I i (x= F(x; θ= F(x; θ. Protožeposloupost {F (x} = splňujejakslabý,taksilýzákovelkýchčísel,takplatí lim P( F (x F(x; θ ε = 0 P(lim F (x=f(x; θ =.

3 RNDr. Marie Forbelská, PhD. 3 y x F (x Z uvedeých vztahů je vidět, že pokud rozsah výběru bude dostatečě velký, lze distribučí fukci rozděleí, z ěhož výběr pochází, dostatečě přesě aproximovat pomocí výběrové(empirické distribučí fukce. Předpokládejme, že rozděleí, z ěhož výběr pochází, mákoečédruhémometysestředíhodotou µa rozptylem σ,cožbudemedálezačit {X,...,X } L(µ, σ. Tedyprokaždé,...,platí EX i = µ DX i = σ. Potom tyto charakteristiky zřejmě závisí a parametru θ, eboť µ = xdf(x; θ σ = (x µ df(x; θ, protobudelépezačitje µ(θ a σ (θ místo µaσ. Všiměmesidále,žeprokaždé x Rje F (x=f (X,...,X statistikou,tímtaké áhodou veličiou(která abývá hodot mezi ulou a jedičkou a tím i fukcí elemetáríhojevu ω Ω. Zvolíme-li ωlibovolě,alepevěauvažujeme-li F (x jakofukciproměé x,paklze sado odvodit, že je tato fukce distribučí fukcí ějaké áhodé veličiy a lze zavést její středí hodotu a rozptyl µ = xdf (x; θ= X i σ = (x µ df(x; θ= (X i µ. Zřejmě µ a σ jsouborelovské fukceáhodéhovýběruatedystatistiky alzeje považovatzaodhadyparametrickýchfukcí µ(θaσ (θ.lzeočekávat,žečímbuderozsah áhodého výběru větší, tím bude odhad uvedeých parametrických fukcí kvalitější. Pozámka.6. Odhadem parametrické fukce γ(θ budeme rozumět ějakou statistiku T = T(X,...,X,kterábudeprorůzéáhodévýběrykolísatkolem γ(θ. Statistika T = T(X,...,X závisíaparametru θprostředictvímdistribučífukce rozděleí, z ěhož výběr pochází. Také rozděleí této statistiky, tj. áhodé veličiy, závisí a parametru θ. Protostředíhodotuarozptyltétostatistikybudemezačit E θ T a D θ T.

4 4 M4 Pravděpodobost a statistika II Defiice.7.Výběrové charakteristiky.nechť X = (X,...,X jeáhodý výběrrozsahu zrozděleísdistribučífukcí F(x; θ, θ Θ.Potomstatistika X = X= X i seazývá výběrovýprůměr S=S = (X i X výběrovýrozptyl S = S= S = S výběrovásměrodatáodchylka F (x= I (,x> (X i výběrová(empirickádistribučífukce. NESTRANNOST, VÝCHÝLENÍ, KONZISTENCE ODHADŮ Za lepší odhad se považuje te, jehož rozděleí je více kocetrovaé okolo ezámé hodotyparametru.tetopřirozeýpožadavekkocetracerozděleí T okoloskutečé hodoty parametru vyjadřujeme pomocí středí hodoty a rozptylu. Defiice..NechťX =(X,...,X jeáhodývýběrzrozděleípravděpodobosti P θ,kde θjevektorezámýchparametrů.nechť γ(θjedaáparametrickáfukce. Řekeme,žestatistika T = T(X,...,X je estraým(evychýleým odhadem parametrické pokud pro θ Θ platí fukce γ(θ E θ T = γ(θ. kladěvychýleým záporěvychýleým asymptoticky estraým slabě kozistetím silěkozistetím E θ T > γ(θ. E θ T < γ(θ. lim E θ T = γ(θ. pokud pro ε > 0 platí lim P θ( T γ(θ > ε=0 P tj. T θ γ(θ P θ (lim T = γ(θ= s.j. tj. T γ(θ Pozámka.. Vlastost estraosti (tj. evychýleosti ještě eposkytuje záruku dobrého odhadu, pouze vylučuje systematickou chybu. Pozámka.3. Používáí kozistetích odhadů zaručuje - malou pravděpodobost velké chyby v odhadu parametru, pokud rozsah výběru dostatečě roste; - volbou dostatečě velkého počtu pozorováí lze učiit chybu odhadu libovolě malou.

5 RNDr. Marie Forbelská, PhD. 5 Příklad.4. Geometrické rozděleí. Nechť áhodá veličia X má geometrické rozděleí, f X (x=p(x= x=( θ x θ 0 < θ < x=0,,... Veličia X udává počet eúspěchů při výběru z alterativího rozděleí před výskytem prvího úspěchu. Hledejme estraý odhad pro θ. Je-li T(X takový estraý odhad, musí pro ěj platit E θ T(X = T(x( θ x θ= θ 0 < θ <, Odtud dostáváme takže musí platit x=0 T(x( θ x = 0 < θ <, x=0 T(0= T(x=0 pro x. Teto odhad však eí pokládá za vhodý, protože je miimálě přihlíží k počtu eúspěchů předprvímúspěchem.závisíjeatom,zdaúspěchastalhedvprvímpokusučiikoli. Může se také stát, že estraý odhad eexistuje. Příklad.5. Parametrickáfukce θ vpřípaděbiomickéhorozděleí. Nechťáhodáveličia Xmábiomickérozděleí,tj. X Bi(, θa ( f X (x=p(x= x= θ x ( θ x, 0 < θ < x=0,,...,. x Sporem ukážeme, že eexistuje estraý odhad pro parametrickou fukci γ(θ= θ. Nechťexistujetakováfukce T,žeprokaždé θ (0,platí ( E θ T(X = T(x θ x ( θ x = 0 < θ <. θ x x=0 Na levé straě je však polyom proměé θ ejvýše stupě, který samozřejmě emůže být idetickyrove θ aitervalu(0,. Nyí vyšetříme případ, kdy odhadovaými parametry jsou středí hodota a rozptyl rozděleí, ze kterého áhodý výběr pochází. Věta.6.NechťX =(X,...,X jeáhodývýběrzrozděleí,kterémástředíhodotu µ(θ pro θ Θ. Pak výběrový průměr je estraým odhadem středí hodoty, tj. Důkaz. Počítejme E θ X= Eθ ( X i = E θ X= µ(θ. E θ X i = µ(θ=µ(θ.

6 6 M4 Pravděpodobost a statistika II Věta.7.NechťX =(X,...,X jeáhodývýběrzrozděleí,kterémározptyl σ (θ pro θ Θ. Pak výběrový rozptyl je estraým odhadem rozptylu, tj. E θ S = σ (θ. Důkaz. Nejprve upravujme (X i X [ = (Xi µ(θ ( X µ(θ ] Pak počítejme E θ S = E θ [ = Proto vypočtěme = = = [ (Xi µ(θ (X i µ(θ( X µ(θ+( X µ(θ ] (X i µ(θ ( X µ(θ (X i µ(θ +( X µ(θ } {{ } =( X µ(θ (X i µ(θ ( X µ(θ. ] (X i X = E θ [ ] (X i µ(θ + ( X µ(θ E θ (X i µ(θ E θ ( X µ(θ =DX i =σ (θ =D θ X D θ X= Dθ ( X i ez. = D θ X i = σ (θ a celkově dostaeme [ E θ S = σ (θ σ (θ ] = σ (θ. Následující věta udává postačující podmíku pro kozistetí odhad. Věta.8.Nechťstatistika T = T(X,...,X jeestraýeboasymptotickyestraý odhad parametrické fukce γ(θ a platí lim D θt =0. Pakjestatistika T = T(X,..., X kozistetímodhademparametrickéfukce γ(θ. Důkaz. Nechť ε > 0. Z Čebyševovy erovosti plye: P θ ( T E θ T ε 4D θt ε. Protožebuď E θ T = γ(θebolim E θ T = γ(θ,pakexistujepřirozeéčíslo 0 tak,že pro > 0 platí: ε < γ(θ E θt < ε.

7 RNDr. Marie Forbelská, PhD. 7 Dále platí P θ ( T γ(θ ε= P θ ( T γ(θ < ε= P θ ( T E θ T + ET γ(θ < ε P θ ( T E θ T + ET γ(θ < ε P θ ({ T E θ T < ε } { ET γ(θ < ε } P θ ( T E θ T < ε P( ET γ(θ < ε P θ ( T E θ T < ε =P θ( T E θ T ε 4D θt ε atedy lim P θ( T γ(θ ε 4 lim D ε θ T =0. Tedy T jeslaběkozistetímodhadem γ(θ. Důsledek.9. Nechť X = (X,...,X je áhodý výběr z rozděleí, které má pro θ Θstředíhodotu µ(θarozptyl σ (θ,tj. {X,...,X } L(µ(θ, σ (θ. Potomje-li µ(θ <,pakvýběrovýprůměr Xjeslaběkozistetímodhadem µ(θ. Důkaz.Vzhledemktomu,že Xjeestraýmodhadem µ(θaplatí lim D θ X= lim D θ ( X i ez. = lim D θ X i = lim σ (θ tj. rozptyl koverguje k ule, jsou splěy předpoklady předchozí věty a platí tak tvrzeí. =0 Důsledek.0. Nechť X = (X,...,X je áhodý výběr z rozděleí, které má pro θ Θstředíhodotu µ(θarozptyl σ (θ,tj. {X,...,X } L(µ(θ, σ (θ. Potomje-li σ (θ <,pakvýběrovýrozptyl S jeslaběkozistetímodhadem σ (θ. Důkaz.Vímejiž,žestatistika S jeestraýmodhadem σ (θ.nyíbudememusetvypočítatrozptylstatistiky S,cožeízdalekataktriviálíjakovpřípaděvýběrovéhoprůměru. Prolepšípřehledostbudemepsátmísto µ(θaσ (θpouze µaσ,ustředíchhodot E θ arozptylu D θ takévyechámeparametr θ. Položme apočítejme S 0 = Y i =(X i µ S0 = (X i µ (X i µ = Y i = Ȳ.

8 8 M4 Pravděpodobost a statistika II Pak Ozačme takže Pak Počítejme ejprve EY i = E(X i µ = DX i = σ DY i = EYi (EY i = E(X i µ 4 σ 4 = µ 4 σ 4 ES0= EȲ= EY i = σ ( S = DS 0= D = = ( Y i S = ez. = [ (Xi µ ( X µ ] DY i = µ 4 σ 4 (X i X = S, ( S = S. (3 [ (Xi µ (X i µ( X µ+( X µ ] (X i µ ( X µ } {{ } S0 (X i µ + ( X µ } {{ } X µ = S 0 ( X µ (4 ES viz(4 = E [ S0 ( X µ ] = ES0 E( X µ = σ σ = σ D X ES viz(3 = E [ ] S = σ = σ. Připomeňme, že rozptyl lze počítat pomocí vzorce aprotože ES jižzáme,počítejmeyí DS = ES 4 [ ES ], ES 4 viz(4 = E[S 0 ( X µ ] = E[S 4 0 S 0 ( X µ +( X µ 4 ] = ES0 4 ES 0( X µ + E( X µ 4. (5 (a (b (c Přivýpočtuvýrazu(avevzorci(5vyjdemeopětzevztahu DS 0= ES 4 0 ( ES 0, takže ES 4 0= DS 0+ ( ES 0 = µ 4 σ 4 + σ 4 = µ 4 + σ4.

9 RNDr. Marie Forbelská, PhD. 9 Dále počítejme výraz(b ve vzorci(5 [ [ ] E[S0 ( X µ ]= E 3 i µ (X ] (X i µ = E[(X 3 i µ (X j µ(x k µ] = j= k= E[(X i µ 4 ] =µ 4 j=,j i k=,k i,j j=,i j E[(X i µ (X j µ(x k µ] =0 viz E[(X i µ (X j µ ] } {{ } =( σ 4 viz = µ 4+ ( σ4 3 [ 3 = µ4 +( σ 4]. Ještě zbývá vypočítat posledí výraz(c ve vzorci(5 E[( X µ 4 ]=E [ = 4 (X i µ j= k= h= ] 4 E[(X i µ(x j µ(x k µ(x h µ] = E[(X 4 i µ 4 ] + 3 E[(X 4 s µ (X t µ ] =µ s= t=,t s 4 =3( σ 4 viz [ 3 = 3 µ4 +3( σ 4] Nyí předchozí tří výpočty můžeme shrout a dostaeme ES 4 = µ 4 + σ4 ( µ 4 + σ 4 + µ σ 4 = ( 3 µ 4 + ( ( +3 3 σ 4 Díky ezávislosti áhodých veliči X i, X j a X k máme: E[(X i µ (X j µ(x k µ] = E(X i µ E(X j µe(x k µ=0,protože E(X i µ k+ =0. Opětzezávislostiáhodýchveliči X i a X j plye: E[(X i µ (X j µ ]=E(X i µ E(X j µ = σ 4. 3 Pouzevpřípadech,kdy(. s=i=j t=k=h s t,(. s=i=k t=j= h s ta (3. s=i=h t=j= k s tdostaeme: E[(X s µ (X t µ ]=E(X s µ E(X t µ = σ 4,ato zasedíkyezávislostiáhodýchveliči X t a X s.

10 0 M4 Pravděpodobost a statistika II Nyí ještě spočtěme akoečě DS = ( µ ( ( +3 σ 4 ( σ 3 = ( 3 µ 4 ( ( 3 3 σ 4 DS =( DS = µ 4 3 ( σ4. Odtudsadoukážeme,žerozptylstatistiky S kovergujekule,čímžjetvrzeídokázáo ( lim DS µ = lim 4 =0. 3 ( σ4 Věta.. Nechť X = (X,...,X je áhodý výběr z rozděleí, které má pro θ Θstředíhodotu µ(θarozptyl σ (θ,tj. {X,...,X } L(µ(θ, σ (θ. Potom (ije-li µ(θ <,pakvýběrovýprůměr Xjesilěkozistetímodhadem µ(θ. (iije-li σ (θ <,pakvýběrový rozptyl S jesilě kozistetím odhadem σ (θ. Důkaz. Připomeňme ejprve, že áhodý výběr {X,...,X } L(µ(θ, σ (θpředstavuje ezávislé stejě rozděleé áhodé veličiy s koečou středí hodotou a rozptylem. (ivzhledemktomu,že X = X jeestraýmodhadem µ(θ,tj. E θ X = µ(θ,pak posloupost { X = = X i} = splňujesilýzákovelkýchčísel,tj.platí P θ (lim X = µ(θ=, pro θ Θ, takževýběrovýprůměr Xjesilěkozistetímodhadem µ(θ. (ii Připomeňme, že platí S = S = = = = (X i X = [ (Xi µ(θ ( X µ(θ ] [ (Xi µ(θ (X i µ(θ( X µ(θ+( X µ(θ ] [ Náhodé veličiy (X i µ(θ ( X µ(θ (X i µ(θ + ( X µ(θ =( X µ(θ ] (X i µ(θ ( X µ(θ. (6 Y i =(X i µ(θ jsouezávisléstejěrozděleésestředíhodotou E θ Y i = E θ (X i µ(θ = σ (θ, takže posloupost { } Y i = i µ(θ (X

11 RNDr. Marie Forbelská, PhD. splňuje silý záko velkých čísel, tj. platí P θ (lim (X i µ(θ = σ (θ=. Protože také platí P θ (lim X = µ(θ=p θ (lim X µ(θ=0=, takže celkově, využijeme-li vztah(6, dostáváme P θ (lim S = σ (θ=, pro θ Θ takževýběrovýrozptyl S jesilěkozistetímodhadem σ (θ. Pozámka.. Více estraých odhadů. Obecěmůžeexistovatvíceestraýchodhadů.Napříkladejevýběrovýprůměr Xje estraýmodhademstředíhodoty µ(θ,aleikaždéjedotlivépozorováí X i ebokaždá jeholieáríkombiace c ix i,prokterouplatí c. Pokud tedy existuje více estraých odhadů je přirozeou otázkou, který z ich je ejlepší. Za ejlepší můžeme považovat te, který má ejmeší rozptyl mezi všemi estraými odhady. Rozděleí každé statistiky však závisí a parametru θ, z čehož vyplývá, že i rozptyl estraéstatistiky T závisíaparametru θ. Může se stát, že odhad miimalizující rozptyl při určité hodotě parametru eí vhodý pro jiou hodotu parametru- existuje jiý estraý(evychýleý odhad, který má při této hodotě parametru meší rozptyl. Pokud taková situace eastae, mluvíme o rovoměrě ejlepším estraém odhadu. Defiice.3.Nechť T jeestraýodhadparametrickéfukce γ(θaprovšecha θ Θplatí D θ T D θ T, kde T je libovolý estraý odhad parametru γ(θ. Potom odhad T azveme (rovoměrě ejlepším estraým odhadem parametrické fukce γ(θ. Příklad.4. Nejlepší estraý lieárí odhad středí hodoty µ(θ. Jak jsme již dříve spočítali, pro áhodý výběr středíhodotavýběrovéhoprůměru Xjerova arozptylvýběrovéhoprůměru Xjerove E θ X= µ(θ {X,...,X } L(µ(θ, σ (θplatí,že D θ X= σ (θ. Tedy variabilita této statistiky je krát meší ež variabilita jedotlivých pozorováí X,..., X atedyhodotystatistiky Xjsouvícekocetrováykolemodhadovaéstředí hodoty µ(θežjedotlivápozorováí X,..., X.Navícjestatistika Xjelieárífukcí áhodýchveliči X,...,X.

12 M4 Pravděpodobost a statistika II Uvažujmevšechylieárístatistikytvaru c ix i,kde c,..., c R,kteréjsou estraými odhady středí hodoty µ(θ, tj. pro θ Θ musí platit µ(θ=e θ ( c i X i = c i E θ X i = µ(θ =µ(θ Tím jsme dostali prví podmíku, která se týká estraosti odhadu. c i c i =. Nyíbudemehledattaková c,...,c R,kterámiimalizujírozptyl ( ez. D θ c i X i = c i D θx i = σ (θ c i aproěžplatí c,tedyhledámevázaýextrém,takžepoužijemelagrageovu fukci s multiplikátorem λ, tj. ( L(c,...,c, λ= c i λ c i. Pakpro j=,..., L =c j λ=0 c j = c λ j L λ = c i +=0 c i =. Prvích rovic implikuje, že c = c = =c. Ozačme společou hodotu symbolem c. Díky posledí rovici dostaeme = c i = c c=c = c = = c =, tedyvýběrovýprůměr Xjeejlepšímestraýmlieárímodhademstředíhodoty µ(θ. Zkusmeprovéstdůkazještějiýmzpůsobem.Nechť c ix i jelibovolýestraý lieáríodhadpro µ(tj.utěmusíplatit c. Položíme-li c i = + δ i pro,..., je miimalizace výrazu zapodmíky c i = ekvivaletí s úlohou miimalizovat Zatétopodmíkyjevšak ( + δ i = což je miimálí pro ( = c i + ( + δ i zapodmíky δ i =0 + δi = + δ i, δ i =0 pro,...,. δ i =0. Tedyejlepšímestraýmlieárímodhademjelieáríkombiace X i skoeficiety c i =.

13 RNDr. Marie Forbelská, PhD POSTAČUJÍCÍ STATISTIKY Nalezeí rovoměrě ejlepších estraých odhadů eí vždy jedoduché. Abychom alezli odhad, který má ejmeší rozptyl, je vhodá jistá redukce výběru, tj. ahrazeí celého výběru jediou statistikou, takovou, která bude obsahovat veškerou iformacioparametru θ,kterábylaobsažeávevýběru.takovátoredukcevýběrovéhoprostoru se dosáhe pomocí postačujících statistik. Defiice3..MějmeáhodývýběrX =(X,...,X zrozděleípravděpodobosti P θ,kde θ jeezámýparametr.řekeme, žestatistika S(Xjepostačující (suficietí statistikou (sufficiet statistic, jestliže sdružeé rozděleí áhodého výběru X =(X,...,X podmíěéjevems(x=sjeprokaždésezávisléa θ. Příklad3.. NechťáhodývýběrX =(X,..., X pocházízalterativíhorozděleí sparametrem θ (0,,tj. { θ x ( θ x N, x=0,...,, X i A(θ p x = 0 jiak. Nechť S= X i S Bi(, θ. Nechťx =(x,...,x jerealizaceáhodéhovýběru.uvažujmepodmíěoupravděpodobostprolibovolě,alepevězvoleé s R P θ (X = x,..., X = x S= s. (aje-li x i s,pakjetatopodmíěápravděpodobostrovaule. (bnechť x i= s.pak P θ (X = x,...,x = x S= s= P θ(x = x,...,x = x P θ (S= s = P θ(x i = x i = θp x i ( θ P x i ( P θ (S= s = ( θs ( θ s s s. Výsledekezávisía θ,takžestatistika S= X ijepostačujícístatistikou. Uvedeme větu, která se azývá také větou o faktorizaci a která zjedodušuje hledáí postačujících statistik. Kromě toho umožňuje rychle rozhodout o tom, či je statistika postačující. Věta 3.3. Neymaovo faktorizačí kritérium. Mějme áhodý výběr X = (X,...,X z rozděleí s pravděpodobostí fukcí (resp. hustotou f(x; θ, kde θ Θ.Potom S(Xjepostačujícístatistikapro θ Θ,právěkdyžexistujíezáporé měřitelé fukce g, h takové, že sdružeé rozděleí áhodého výběru je součiem dvou faktorů: f X (x; θ=h(x g(s(x, θ (a říkáme, že hustota f se dá faktorizovat. Důkaz. Tvrzeí ukážeme pouze pro diskrétí případ. Nechť S je postačující statistika, pak podle defiice P θ (X=x S(X=s=h(x

14 4 M4 Pravděpodobost a statistika II a ezávisí a θ. Dále pro sdružeou pravděpodobostí fukci platí f X (x; θ=p θ (X=x=P θ (X=x S(X=S(x P θ (S(X=S(x h(x g(s(x,θ Předpokládejme, že sdružeou pravděpodobostí fukci lze vyjádřit ve tvaru tj. že ji lze faktorizovat. Ozačme Nejprve spočtěme f X (x; θ=h(x g(s(x, θ, B s = {x R ;S(x=s}. P θ (S(X=s= x B s P θ (X=x= x B s h(x g(s(x, θ = g(s(x, θ x B s h(x. Je-li P θ (S(X=s >0aS(x s,pakjepodmíěápravděpodobost P θ (X=x S(X=s=0. Je-li P θ (S(X=s >0aS(x=s,pak P θ (X=x S(X=s= P θ(x=x P θ (S(X=s = h(x g(s(x, θ g(s(x, θ x B s h(x = h(x x B s h(x a tím je dokázáo, že podmíěé rozděleí vektoru X při daé hodotě statistiky Sezávisía θasjepostačujícístatistikouproprametr θ. Příklad3.4. NechťáhodývýběrX =(X,..., X pocházízpoissoovarozděleí s parametrem θ > 0 s pravděpodobostí fukcí Ukážeme, že statistika f X (x=p θ (X= x= e θ θ x S= x! X i x=0,,,.... je postačující statistikou pro parametr θ, eboť sdružeá hustota áhodého výběru je tvaru ( f X (x= e θ θ P x i x = e θ θ P x i i! x i!. g(s(x,θ h(x Než uvedeme větu, která ukazuje praktický výzam postačujících statistik pro kostrukci ejlepších estraých odhadů, všiměme si podmíěých středích hodot.

15 RNDr. Marie Forbelská, PhD PODMÍNĚNÉ STŘEDNÍ HODNOTY. NechťZ=(X, Y jeáhodývektor, F(x, yjejehosdružeádistribučífukcea F X (xaf Y (yodpovídajícímargiálídistribučífukce.nechťvektorstředíchhodot EZ existuje(a je koečý. (Nechťprokaždouborelovskoumožiu S Baprokaždé x Rexistujefukce F(x y taková, že platí P(X x, Y S= F(x ydf S Y(y. Potom fukci F(x y azveme podmíěou distribučí fukci áhodé veličiy Xpřidaém Y= y(podmíěoujevem Y= yebotakévzhledemky. (adiskrétípřípad:z=(x, Y p(x, y, M = {(x, y R : p(x, y > 0}, X p X (x, M X = {x R:p X (x >0}, Y p Y (y, M Y = {y R:p Y (y >0}. Počítejme P(X x, Y S= y S = p(t, y= t x y S M Y ( t x p(t, y p Y (y y S M Y p(t, y+ t x p Y (y= S M Y y S (R M Y t x t x p(t, y =0 p(t, y p Y (y df Y(y. Takže podmíěá distribučí fukce je v diskrétém případě tvaru p(t,y p Y pro y M (y Y, F(x y= t x 0 pro y (R M Y, a podmíěá pravděpodobostí fukce je rova { p(x,y p p(x y = Y pro y M (y Y, 0 pro y (R M Y,. (bspojitýpřípad:z=(x, Y f(x, y, X f X (x, M X = {x R:f X (x >0}, Y f Y (y, M Y = {y R:f Y (y >0}.Počítejme x P(X x, Y S= f(t, ydtdy S x x = f(t, ydtdy+ f(t, y dtdy S M Y S (R M Y =0 ( x f(t, y = S M Y f Y (y dt f Y (ydy ( x f(t, y = f Y (y dt df Y (y. S M Y Takže podmíěá distribučí fukce je v diskrétém případě tvaru x f(t,y F(x y= dt pro y M f Y (y Y, 0 pro y (R M Y, a podmíěá hustota je rova f(x y= { f(x,y f Y (y pro y M Y, 0 pro y (R M Y,.

16 6 M4 Pravděpodobost a statistika II (Nechť T= T(X, Yjetrasformovaááhodáveličia.Potomfukci E(T(X, Y Y= y= T(x, ydf(x y y R R azveme podmíěou středí hodotou áhodé veličiy X za podmíky Y = y zapředpokladu,žeuvedeýitegrálprovšecha y Rexistuje(ajekoečý. Položme a defiujme symbolem E(T(X, Y Y= y=h(y E(T(X, Y Y=h(Y áhodou veličiu, kterou azveme(zobecěou podmíěou středí hodotou áhodéveličiy T(X, Ypřidaém Y. (a Diskrétí případ: E(T(X, Y Y= y= T(x, ydf(x y= T(x, y p(x y R x M X { x M = X T(x, y p(x,y p Y pro y M (y Y, 0 pro y (R M Y, a aalogicky E(T(X, Y Y= { x M X T(x, Y p(x,y p Y (Y pro Y M Y, 0 pro Y (R M Y,. (b Spojitý případ: E(T(X, Y Y= y= T(x, ydf(x y= T(x, y f(x ydx R R { f(x,y T(x, y R f = dx pro y M Y (y Y, 0 pro y (R M Y, a aalogicky E(T(X, Y Y= { T(x, Y f(x,y f Y (Y dx pro Y M Y, R 0 pro Y (R M Y,. Důležité vlastosti podmíěých středích hodot: (inechť X, X, Y jsouáhodéveličiyaa 0, a, a jsoureálékostaty,pakpokud středíhodoty EX, EX existujílzesadodokázat,žeplatí E(a 0 + a X + a X Y=a 0 + a E(X Y+a E(X Y, (7 (iinechť X, Y jsouáhodéveličiyastředíhodota EXexistuje,pak E[E(X Y]=EX. (8 Důkaz ukážeme pro spojitý případ: ( ( EX= xf X (xdx= x f(x, ydy dx= x f(x yf Y (ydy dx R R R R R ( = xf(x ydx f Y (ydy= h(yf Y (ydy= E[h(Y]=E[E(X Y]. R R R h(y=e(x Y =y

17 RNDr. Marie Forbelská, PhD. 7 (iiinechť T = T (X, YaT = T (Yjsoutrasformovaéáhodéveličiy,pak E(T T Y=T E(T Y. (9 Důkaz ukážeme pro spojitý případ: h(y=e(t T Y= y=e(t (X, YT (X Y= y = T (x, yt (yf(x ydx R = T (y T (x, yf(x ydx= T E(T Y= y R h(y=e(t T Y=T E(T Y. (3Nechť T= T(X, Yjetrasformovaááhodáveličia.Podmíěýrozptylpřidaém Y= yjedefiovávztahem D(T(X, Y Y= y=e { [T E(T Y= y] Y= y } a(zobecěý podmíěý rozptyl při daém Y je defiová vztahem Platí eboť, spočítáme li ejprve D(T Y=E { [T E(T Y] Y } tak odtud dostaeme D(T(X, Y Y=E { [T E(T Y] Y }. DT= E[D(T Y]+D[E(T Y], (0 = E { [(T ET (E(T Y ET] Y } = E { (T ET (T ET[E(T Y ET]+[E(T Y ET] Y } = E[(T ET Y] [E(T Y ET] E[(T ET Y] +[E(T Y ET] = E[(T ET Y] [E(T Y ET], viz(7 = E(T Y ET E[(T ET Y]=D(T Y+[E(T Y ET] aakoec E { E[(T ET Y] } viz(7 = E[(T ET =DT Celkově tedy dostáváme = E[D(T Y]+E[E(T Y ET viz(8 = E[E(T Y] = E[D(T Y]+E[E(T Y E[E(T Y] =D[E(T Y] = E[D(T Y]+D[E(T Y] DT= E[D(T Y]+D[E(T Y]. ]

18 8 M4 Pravděpodobost a statistika II Věta3.5.Rao-Blackwellova.NechťX =(X,...,X jeáhodývýběrzrozděleí pravděpodobosti P θ,kde θjevektorezámýchparametrů.nechťexistujepostačujícístatistikas(xproparametr θ.nechť γ(θjedaáparametrickáfukceastatistika T(Xje jejímestraýmodhadem,přičemž ET(X < prokaždé θ Θ.Pakplatí (i Pro parametrickou fukci γ(θ existuje estraý odhad S (X=S (S(X, který je fukcí postačující statistiky S(X. (iiprorozptylestraéhoodhadu S (Xplatí (iii V erovosti( platí rovost právě když DS (X DT(X prokaždé θ Θ. ( S (X=T(X spravděpodobostíprokaždé θ Θ. Důkaz.Nechť T= T(Xjelibovolýestraýodhadparametrickéfukce γ(θas=s(x je postačující statistika pro parametr θ. (i Položme S (s=e(t(x S(X=s. Protože S(Xjepostačujícístatistikou,fukce S (sezávisía θ,tj. S = S (S=S (S(X=E[T(X S(X]=E(T S jestatistika.ukážeme,že S jeestraýodhadparametrickéfukce γ(θ.prokaždé θ Θplatí: ES = E[E(T S]=ET= γ(θ. (ii Počítejme a upravujme rozptyl statistiky T DT= E[T γ(θ] = E {[T S ]+[S γ(θ]} = E[T S ] + E {[T S ][S γ(θ]} + E[S γ(θ] 0 =0 DS tj. DT DS, eboť středí hodotu součiu dvou statistik lze vyjádřit takto E {[T S ][S γ(θ]} E(U V (iii V erovosti( platí rovost právě když tj.kdyžprovšecha θ Θplatí = E {E {[T S ][S γ(θ] S}} E(E(U V S = E [S γ(θ] E {[T S ] S} =0. E[T S ] =0 provšecha θ Θ, S (X=T(X spravděpodobostí. =0 Pozámka 3.6. Z uvedeé věty vyplývá, že při hledáí ejlepších estraých odhadů se můžeme omezit a odhady, které jsou fukcemi postačujících statistik. Věta 3.5 dává ávod, jak určit estraý odhad, který je fukcí postačující statistiky, jestliže záme libovolý estraý odhad.

19 RNDr. Marie Forbelská, PhD. 9 Příklad 3.7. Uvažujme výběr z alterativího rozděleí s parametrem θ > 0 s pravděpodobostí fukcí f X (x=p(x= x=θ x ( θ x x=0, a odhad parametrické fukce γ(θ = θ počítejme pomocí podmíěé středí hodoty S = E(T S,kde Tjelibovolýestraýodhad γ(θ=θ. Je zřejmé, že estraým odhadem parametru θ je i statistika T= T(X=X, tj. prví čle výběru, eboť EX = θ. Jak jsme ukázali v příkladu 3., postačující statistikou pro parametr θ je statistika S= S(X= X i. Statistika S je součtem ezávislých áhodých veliči s alterativím rozděleím a tedy má biomické rozděleí s parametry a θ, tj. S= X i Bi(, θ. Všiměme si, že pravděpodobost ( ( P X = x, X i = s = P X = x, X i = s x. Náhodéveličiy X A(θ Bi(, θa i= X i Bi(, θjsouezávislé,takže ( P θ (X = x, X i = s = P θ (X = x P θ X i = s x i= i= ( = θ x ( θ x θ s x ( θ s+x s x ( = θ s ( θ s. s x Počítejme podmíěou středí hodotu za podmíky, že S = s { } S (s=e(t S= s=e X X i = s = x P(X = x, X i=s P x=0, θ ( X i= s ( s x θ s ( θ s (!s!( s! = = θs ( θ s!(s!( s! = s, Tedy ( s S (S=E(T S= X i, což je aritmetický průměr všech pozorováí. Podívejmese,jaktovypadásrozptylystatistik T= X a S. DT= DX = θ( θ ( DS = D X i = DX i = tedy rozptyl druhého estraého odhadu se krát zmešil. θ( θ,

20 0 M4 Pravděpodobost a statistika II Příklad 3.8. Uvažujme výběr z Poissoova rozděleí s parametrem θ > 0 s pravděpodobostí fukcí f X (x=p(x= x= e θ θ x x=0,,,... x! a odhad parametrické fukce γ(θ = θ počítejme pomocí podmíěé středí hodoty S = E(T S,kde Tjelibovolýestraýodhad γ(θ=θ. Je zřejmé, že estraým odhadem parametru θ je i statistika tj. prví čle výběru, eboť T= T(X=X, EX = θ. Jak jsme ukázali v příkladu 3.4, postačující statistikou pro parametr θ je statistika S= S(X= X i. Dále je třeba si uvědomit, že statistika S je součtem ezávislých áhodých veliči s Poissoovým rozděleím a má také Poissoovo rozděleí s parametrem θ, tj. S= X i Po(θ. Počítejme dále pravděpodobost ( ( P X = x, X i = s = P X = x, X i = s x. Náhodéveličiy X Po(θa i= X i Po(( θjsouezávislé,takže ( ( P X = x, X i = s = P(X = x P X i = s x = e θ θ x x! i= i= e ( θ [( θ] s x. (s x! Nyí již počítejme podmíěou středí hodotu za podmíky, že S = s { } s S (s=e(t S= s=e X X i = s = x P(X = x, X i= s P( x=0 X i= s s s ( ( x ( s = = x s x. x x=0 e θ θ x e ( θ [( θ] s x x! (s x! x e θ (θ s s! Protoževýraz s x=0 x( ( s x rozděleím Bi(s,,iheddostaeme x=0 x ( s x jestředíhodotouáhodéveličiysbiomickým S (s=e(t S= s= s. Tedy S (S=E(T S= což je aritmetický průměr všech pozorováí. X i,

21 RNDr. Marie Forbelská, PhD. Stejějakvpředchozímpřípadě,všiměmesirozptylůobouodhadů T= X a S. DT= DX = θ ( DS = D X i = DX i = θ, tedy rozptyl druhého estraého odhadu se krát zmešil. Pozámka 3.9. Nahrazeíestraéhoodhadu T odhadem S = E(T Sještěezameá, že jsme mezi všemi estraými odhady ašli odhad s ejmeším rozptylem. Úplost postačující statistiky je pro to dostatečou podmíkou. Defiice3.0.Systémparametrickýchtřídrozděleí P= {P θ ; θ Θ}azvemeúplým, pokud pro každou měřitelou fukci h(x a áhodou veličiu X s rozděleím z této třídy platí implikace: jestliže E θ h(x=0 prokaždé θ Θ, pak h(x=0 spravděpodobostíprokaždé θ Θ. Příklad3.. Nechť P= {P θ ; θ Θ}jetřídoubiomickýchrozděleí ( X P θ (X= x= θ x ( θ x, 0 < θ < x=0,,...,. x Ukážeme,žetetosystémjeúplý.Uvažujmefukci h(xamožiě {0,,..., },pro kterou platí Eh(X=0 prokaždé θ (0,. Tato fukce musí splňovat podmíku ( Eh(X = h(x θ x ( θ x =0 prokaždé θ (0,. x x=0 Tuto podmíku můžeme apsat takto ( ( ( θ Eh(X = h(x θ x ( θ x =( θ h(x x x θ x=0 (+z x=0 =(+z x=0 ( h(xz x =0 pro z >0 x x } {{ } z x Najedéstraěmámepolyom -téhořaduvproměé z.pokudsemáidetickyrovat ule, musí se všechy jeho koeficiety rovat ule, tj. Proto h(x=0 pro x=0,,...,. P(h(X=0= prokaždé θ (0,. Příklad3.. Nechť P= {P θ ; θ Θ}jetřídouPoissoovýchrozděleíspravděpodobostí fukcí f X (x=p(x= x= e θ θ x x=0,,,... x! Tetosystémjeopětúplý.Uvažujmefukci h(xamožiě {0,,,...},prokterouplatí Eh(X=0 prokaždé θ >0.

22 M4 Pravděpodobost a statistika II Tato fukce musí splňovat podmíku Eh(X = h(x e θ θ x =0 prokaždé θ >0. x! Takže x=0 x=0 h(x θx x! =0 prokaždé θ >0. Tatomociářadajerovauleprovšecha θ >0,takževšechyjejíkoeficietymusíbýt rovu ule, tj. h(x=0 pro x=0,,,.... Proto P(h(X=0= prokaždé θ >0. Příklad3.3. Nechť P= {P θ ; θ Θ}jetřídouormálíchrozděleí Teto systém eí úplý. Defiujme Prolibovolé θ >0platí πθ X πθ e ( x θ x R,;θ >0 h(x= h(xe ( x θ dx= πθ 0 { x <0, x 0.. e ( x θ dx+ e ( x θ dx=0. πθ 0 = } {{ } = Tedyzvlastosti,že Eh(X=0eplye,že P(h(X=0=. Defiice3.4.NechťX =(X,...,X jeáhodývýběrzrozděleípravděpodobosti P = {P θ ; θ Θ}.Statistiku T(Xazvemeúplou vzhledem k P = {P θ ; θ Θ}, pokud její rozděleí pravděpodobostí tvoří úplý systém. Nyí vyslovíme větu o jedozačosti estraých odhadů založeých a postačujících statistikách. Věta3.5.PrvíLehmaova-Shefféhověta.NechťX =(X,...,X jeáhodý výběrzroděleípravděpodobosti P = {P θ ; θ Θ}.Předpokládejme,že T = T(Xje estraýodhadparametrické fukce γ(θ,přičemž ET < prokaždé θ Θ. Nechť S = S(X je úplá postačující statistika. Defiujme S = E(T S. Pak S jeejlepšíestraýodhadparametrickéfukce γ(θajejediý. Důkaz.Nechť T = T(XaT = T (Xjsouestraéodhadyparametrickéfukce γ(θ skoečýmidruhýmimomety.ozačme S = E(T S.Prokaždé θ Θplatí ES = γ(θ DS DT Máme tedy ES = γ(θ DS DT E(S S =E(E(T S E(T S=0 prokaždé θ Θ.

23 RNDr. Marie Forbelská, PhD. 3 Z předpokladu o úplosti plye, že P(S = S = prokaždé θ Θ. Ztohoplyezávěr,žeproestraéodhady S a T platí DS DT. Proto S jeejlepší.zraovy-blackwellovyvětyplye,že T budestejědobrýodhadjako S právětehdy,bude-li T = S skorojistěpřikaždém θ. Jelikožvíme,že S = S,dostávámeodtud T = S skorojistě. Pozámka 3.6. V tomto případě ejmeší možý rozptyl estraého odhadu parametrickéfukce γ(θjerove DS.Přitomjdeoskutečédosažitelémiimum. Věta 3.7. Druhá Lehmaova-Sheffého věta. Nechť S je úplá postačující statistika. Nechť W= g(s jeestraýodhadparametrickéfukce γ(θaechť EW < prokaždé θ Θ.Pak W je ejlepší estraý odhad parametrické fukce γ(θ a je jediý. Důkaz. Tvrzeí je přímým důsledkem prví Lehmaovy-Sheffého věty. Příklad 3.8. NechťX = (X,...,X jeáhodývýběrzalterativíhorozděleí s pravděpodobostí fukcí f(x, θ=p θ (X= x=θ x ( θ x 0 < θ < x=0, s pravděpodobostí úspěchu θ (0,, kde θ je ezámý parametr. Budeme hledat ejlepší estraý odhad pro θ, což je středí hodota alterativího rozděleí avpřípadě,že taképro θ( θ,cožjerozptylalterativíhorozděleí θ :Zpříkladů3.a3.vyplývá,žestatistika S= X i Bi(, θ je úplou postačující statistikou, takže statistika S (S=E(T S= X i = X odvozeá pomocí Rao-Blackwellovy věty je podle prví Lehmaovy-Sheffého věty ejlepším estraým odhadem parametru θ. θ( θ :PomocíRao-Blackwellovyvětyejprvehledejmestatistiku S = E(T S,kde Tje ějakýestraýodhadparametrickéfukce γ(θ=θ( θas jepostačující statistikou pro parametr θ. Jako estraý odhad parametrické fukce γ(θ = θ( θ vezměme apříklad T= X ( X, eboť ET= E[X ( X]=EX E( X ezávislost X,X = θ( θ.

24 4 M4 Pravděpodobost a statistika II Pro s=0,,..., počítejme ( S (s=e(t S= s=e X ( X X i = s = P(X =, X =, X i=s P( X i= s Je-li s=0,jezřejmé,že ( E X ( X X i = s =0. Nechťyí s >0.Pak a kde S (s= P(X =P(X =0P( i=3 X i= s P( X i= s = θ( θ( s θ s ( θ s+ = θs ( θ s = Protože statistika ( s s( s ( = s ( s S (S= X( X, S= X= X i. X i Bi(, θ (!s!( s!!(s!( s! je úplou postačující statistikou, pak podle prví Lehmaovy-Sheffého věty je S (Sejlepšímestraýmodhademparametrickéfukce θ( θ. Veličiy X,...,X můžemechápatjakovýběrzbi(, θ.totorozděleímá rozptyl θ( θ.všiměmesi,žepro,..., platí X i = X i, eboť tyto veličiy abývají pouze hodot 0 a. Nestraý odhad rozptylu pořízeý a základě daého výběru je ( S = (X i X = Xi X ( = X i X = ( X X = X( X aodhad S jetedytotožýsejlepšímestraýmodhademparametrické fukce θ( θ. Příklad3.9. NechťX =(X,...,X jeáhodývýběrzpoissoovarozděleíspravděpodobostí fukcí f X (x=p(x= x= e θ θ x x! x=0,,,...

25 RNDr. Marie Forbelská, PhD. 5 kde θ je ezámý parametr. Budeme hledat ejlepší estraý odhad pro e θ θ, což je středí hodota Poissoova rozděleí e θ = P(X=0 θ :Zpříkladů3.4a3.vyplývá,žestatistika S= X i Po(θ je úplou postačující statistikou, takže statistika S (S=E(T S= X i = X odvozeá pomocí Rao-Blackwellovy věty je podle prví Lehmaovy-Sheffého věty ejlepším estraým odhadem parametru θ. :PomocíRao-Blackwellovyvětyejprvehledejmestatistiku S = E(T S,kde Tje ějakýestraýodhadparametrickéfukce γ(θ=e θ a Sjepostačujícístatistikou pro parametr θ. Položme Protože T= I {0} (X =I(X =0= { X =0, 0 jiak. ET= P θ (T=+0 P θ (T=0=P θ (X =0=e θ, pakstatistika Tjeestraýmodhademparametrickéfukce γ(θ=e θ. Je-li =, pak statistika T je ejlepším estraým odhadem parametrické fukce γ(θ=e θ. Pro >počítejme ( S (s=e(t S= s=e I(X =0 X i = s a kde = P(T=, X i=s P( X = P(X =0, i= X i= s i= s P( X i= s = P(X =0P( i= X ( i= s P( X = = i= s Protože statistika e θ e ( θ [( θ] s s! e θ (θ s s! S (S= X( X, ( P X= X i. S= X i Po(θ je úplou postačující statistikou, pak podle prví Lehmaovy-Sheffého věty je S (Sejlepšímestraýmodhademparametrickéfukce e θ. s

26 6 M4 Pravděpodobost a statistika II Spočítejme ještě ( S ES = ES (S=E = ( s e θ (θ s = e θ [( θ] s = e θ s! s=0 =e ( θ [ ] ( s ES e θ (θ s ( s θ = = e θ = e θ+ θ s! s! s=0 s=0 s=0 =e ( θ ( DS = ES (ES = e θ+ θ e θ = e θ e θ. s!

27 RNDr. Marie Forbelská, PhD REGULÁRNÍ SYSTÉM HUSTOT A DOLNÍ MEZ ROZPTYLU REGULÁRNÍCH ODHADŮ Jezcelazřejmé,žeazákladěkoečěmohopozorováíX = (X,...,X elze odhadout parametrickou fukce γ(θ zcela bez chyby, tj. elze ajít estraý odhad T = T(X,..., X sulovýmrozptylem. Existuje však dolí mez, pod kterou emůže rozptyl žádého estraého odhadu klesout. Tato dolí mez záleží ovšem, jak za chvíli ukážeme, -arozsahuáhodéhovýběru,tj.a, -arodiěrozděleí F(x; θ,zekteréhovýběrpochází - a a parametrické fukci γ(θ. Při odvozováí dolí meze rozptylu estraých odhadů se omezíme -arodiyrozděleí F(x; θ,kterásplňujíjistépodmíky,atotzv.podmíkyregularity. V dalším budeme začit symbolem f(x; θ jak hustotu pravděpodobosti absolutě spojité áhodé veličiy, tak pravděpodobostí fukci diskrétí áhodé veličiy, eboť obě jsou hustotami, v prvém případě vzhledem k Lebesgueově míře, v druhém případě vzhledem k čítací míře. Defiice 4.. Mějme parametrický prostor Θ R. Řekeme, že systém parametrických hustot F reg = {f(x; θ:θ Θ} je regulárí, jestliže platí (Θ R m jeotevřeáborelovskámožia. (Možia M= {x R:f(x; θ >0}ezávisíaparametru θ. (3 Pro každé x M existuje koečá parciálí derivace f i f(x; θ (x; θ= θ i (4Provšechy θ=(θ,..., θ m Θplatí M f i(x; θ df(x; θ= f(x; θ M (,...,m. l f(x; θ df(x; θ=0 (,..., m, θ i kde F(x; θ je odpovídající distribučí fukce. (5Provšechy θ=(θ,..., θ m Θjeitegrál l f(x; θ l f(x; θ J ij = J ij (θ= df(x; θ (i, j=,...,m θ i θ j M koečýamaticej=j(θ=(j ij (θ m i,j= jepozitivědefiití.maticej(θseazývá Fisherova iformačí matice o parametru θ. Pozámka 4.. Pro jedoduchost ěkdy hovoříme o regulárosti f(x; θ, e o regulárosti systému hustot.

28 8 M4 Pravděpodobost a statistika II Pozámka 4.3. Ukážeme, že podmíka(4 souvisí s otázkou, zda při derivováí rovosti = df(x; θ lze zaměit pořadí derivace a itegrálu, tj. 0 = θ j = θ j df(x; θ =? θ j df(x; θ= 0. M M M Jestliže máme zaručeo, že platí vztah(, pak pořadí lze zaměit. A yí ukážeme, že podmíka(4 je ekvivaletí s podmíkou(. Nechť ν je čítací ebo Lebesgueova míra. Upravujme 0 = = M M θ j df(x; θ= M f j(x; θ f(x;θ f(x;θ dν(x= θ j f(x; θ dν(x= Pozámka 4.4. Ozačíme li symbolem M M ( f j ěkdytatopodmíka (x; θ dν(x bývá v defiici regularity f j (x;θ cožjeprávěpodmíka df(x; θ f(x;θ (4 v defiici regularity. U i = U i (θ= f i (X;θ f(x;θ tzv. i týskórpříslušýkhustotě f(x; θ a = l f(x;θ θ i U=U(θ=(U (θ,...,u m (θ tzv. skórovývektorpříslušýkhustotě f(x; θ,pakpodmíku(4lzeekvivaletěapsat takto pro i {,..., m} E θ U i =0, tj. E θ U=(0,...,0 =0, tj. skóry jsou cetrovaé. V tomto začeí podmíka(5 je ekvivaletí s existecí kovariací l f(x;θ lf(x;θ J ij = θ i θ j df(x; θ = Eθ (U i U j =C θ (U i, U j <. M ProsdružeouhustotuáhodéhovýběruX =(X,...,X platí f X (x,...,x ; θ= f(x i ; θ k= l f X(x,...,x ;θ θ j = a ozačíme li pro k tou složku áhodého výběru ( U k =(U k,,..., U k,m = lf(xk ;θ θ,..., l f(x k;θ θ m aprocelýáhodývýběr dostaeme U =(U,...,U m = ( l fx (X;θ θ k=,..., lf X(X;θ θ m, l f(x k ;θ θ j pro skórový vektor áhodého výběru U = k= U k a pro jedotlivé složky skórového vektoru U j= U k,j. k=

29 RNDr. Marie Forbelská, PhD. 9 Věta4.5(Raova-Cramerovaerovost.Nechť T = T(X,..., X jeregulárímodhade parametrické fukce γ(θ, tj. (iáhodývýběrx =(X,...,X jezrozděleísreguláríhustotou f F reg, (ii T (Xjeestraýmodhademparametrickéfukce γ(θ, (iiiprovšecha θ Θ, j=,..., mexistujíparciálíderivace γ(θ θ j θ j M... M T (x,...,x df(x i ; θ= M... T (x,...,x M θ j aplatí df(x i ; θ. PakexistujedolíRao Cramerovahraice C rozptyluodhadu T aplatí ( C = C (θ= γ J γ D θ T, kde γ = γ(θ θ,..., γ(θ θ m. Důkaz.Důkazudělámeproskaláríparametr θ.protože T (Yjeestraýmodhadem parametrické fukce γ(θ, platí γ(θ=e θ T (X=... T (x,...,x df(x k ; θ M M k= =... T (x,...,x f(x k ; θdν(x dν(x, M M kde ν je čítací ebo Lebesgueova míra. Díky předpokladům ve větě můžeme psát γ (θ=[e θ T (X] =... T θ (x,...,x f(x k ; θ dν(x dν(x = = = M M M M M k=... T (x,...,x f(x θ k ; θ dν(x dν(x M k=... T (x,...,x f (x k ; θ f(x h ; θ dν(x dν(x... M M = E θ [T (X T (x,...,x k= f (X k ;θ f(x k ;θ k= k= ]=E θ [ f (x k ;θ f(x k ;θ T (X k= h=,h k f(x h ; θ dν(x dν(x h= ] U k, (θ = E θ [T (XU ] Protože E θ U =0, pakfisherovaiformaceproskaláríparametr θ,kterásetýkááhodého výběru, je rova ( J=E θ (U =D θ U ez. =D θ U j, (θ = D θ U k, (θ= E θ (U k, (θ =J(θ. k= k= k= =J(θ takže tj. k= γ (θ = E[U T (X] = C(U (θ, T (X Schwarz.er. vizeu =0 čímž je tvrzeí dokázáo. (γ (θ DT (XJ(θ DT (X DU }{{ (θ. } (γ (θ J(θ DT (X, = J(θ

30 30 M4 Pravděpodobost a statistika II Defiice4.6.Řekeme,žeodhad T (Xje (a VYDATNÝM(také EFICIENTNÍM odhadem γ(θ, pokud ε[t (X]= C (θ DT (X = (b ASYMPTOTICKY VYDATNÝM odhadem γ(θ, pokud lim ε[t (X]= ačíslo ε[t (X] seazývávydatost(eficieceodhadu T (X. Příklad 4.7. NORMÁLNÍ ROZDĚLENÍ A REGULARITA. Mějme áhodou veličiu X s ormálím rozděleím { X N(µ, σ f(x= exp } πσ σ(x µ x R, µ=0; σ= 0.5 Hustoty N(µ,σ Distribuci fukce N(µ,σ µ=0; σ= µ=0; σ= µ=0; σ= µ=3; σ=.5 µ=5; σ= µ=0; σ= µ=3; σ=.5 µ=0; σ= µ=5; σ= přičemž: Obrázek:Ukázkyhustotadistribučíchfukcíprorůzéhodotyparametrů µaσ. (a σ jezámé,tj. θ = µ. Pakhustota f(xjeregulárí(vizbody(až(5: (MožiaΘ =(, jeeprázdáotevřeámožia. (Možia M= {x R:f(x >0}je(, aezávisía µ Θ. (3Prokaždéy Mexistujekoečáderivace f µ(x= d f(x d µ (4Provšecha µ Θ platí EU = f µ(x f(x f(xdx= = f(xx µ σ U = X µ σ. f µ (xdx= (x µf(xdx=0. } {{ } 0 σ

31 RNDr. Marie Forbelská, PhD. 3 (5Provšecha µ Rjeitegrál J koečýakladý J(µ=J = EU = f(xdx= = σ 4 ( f µ (x f(x (x µ f(xdx } {{ } DX=σ = σ >0. (f µ(x f(x dx (b µjezámé,tj. θ = σ. Pakhustota f(xjeregulárí(vizbody(až(5: (MožiaΘ =(0, jeeprázdáotevřeámožia. (Možia M= {x R:f(x >0}je(, aezávisía σ Θ. (3Prokaždé x Mexistujekoečáderivace f d f(x σ(x= = f(x (x µ σ U d σ σ 4 = (X µ σ. σ 4 (4Provšecha σ Θ platí EU = f σ (x f(x f(xdx= f σ (xdx= f(x (x µ σ σ 4 dx=0. (5Provšecha σ Θ jeitegrál J koečýakladý ( J(σ =J = EU = f [ σ (x f(x f(xdx= 4σ (x µ σ ] f(xdx 8 = 4σ 8 = σ 4 >0 (x µ 4 f(xdx } {{ } µ 4 =3σ 4 σ 4σ 8 (x µ f(xdx } {{ } σ + σ4 4σ 8 f(xdx U =(Y µ/σ (σ = Y N(µ,σ.5 U =0.5[(Y µ σ ]/σ 4 (µ= µ=y= σ =(y µ = µ σ Obrázek:Ukázkyskórovýchfukcí U (resp. U pro N(µ,σ přizámém σ (resp. µ.

32 3 M4 Pravděpodobost a statistika II (c θ=(θ, θ =(µ, σ.pakhustota f(xjeregulárí(vizbody(až(5. (MožiaΘ=Θ Θ =(, (0, jeeprázdáotevřeámožia. (Možia M= {x R:f(x >0}je(, aezávisía θ Θ. (3Prokaždé x Mexistujíkoečéderivace f µ (x, f σ (x(vizpředchozídvapřípady. (4Provšecha θ=(θ, θ =(µ, σ Θplatí EU = EU =0(vizpředchozídva případy a skórový vektor je rove ( X µ U=, (X µ σ. σ σ 4 U =(Y µ/σ Y N(µ,σ U =0.5[(Y µ σ ]/σ σ 0.5 µ σ 0.5 µ Obrázek3:Ukázkyskórovýchfukcí U a U pro N(µ,σ přiezámém σ a µ. (5Provšecha θ=(θ, θ =(µ, σ Θjsouitegrály J, J a J = J koečé, přičemž J(µ, σ =J = = σ 6 = σ 6 f µ (x f σ (x f(xdx f(x f(x (x µ [ (x µ σ ] f(xdx (x µ 3 f(xdx } {{ } µ 3 =0 σ 4 (x µf(xdx =0 } {{ } 0 afisherovaiformačímaticeprovektorparametrů θ=(θ, θ =(µ, σ jerova ( J(µ, σ 0 = σ 0 a je pozitivě defiití. σ 4

33 RNDr. Marie Forbelská, PhD. 33 Příklad 4.8. WEIBULLOVO 3-PARAMETRICKÉ EXPONENCIÁLNÍ ROZ- DĚLENÍ Wb(γ, θ, δ AREGULARITA.Mějmeáhodouveličiu Xshustotou f(x; γ, θ, δ= { γ δ ( x θ γ exp { ( δ x θ γ } δ x > θ, θ R, γ >0, δ >0 0 jiak. Zřejmě ejde o regulárí systém hustot, eboť možia M, což je defiičí obor áhodé veličiy, je závislý a parametru θ. Příklad 4.9. NORMÁLNÍ ROZDĚLENÍ A VYDATNÉ ODHADY. Mějme áhodou veličiu X s ormálím rozděleím { X N(µ, σ f(x= exp } πσ σ(x µ x R aáhodývýběrx =(X,..., X ztéhožrozděleí,přičemž: (a σ jezámé,tj. θ = µ. ( Skórová fukce áhodého výběru(viz příklad 4.7: U (µ= X i µ σ. ( Fisherova iformace o parametru µ z áhodého výběru(viz příklad 4.7 a důkaz věty4.5: (3 Uvažujme parametrickou fukci a výběrový průměr, tj. statistiku J (µ=j(µ=j = σ. γ(µ=µ T (X= X= X i. (i Platí E X= µ, tj. Xjeestraýmodhademparametru µa D X= σ. (ii Xjeregulárímodhademparametrickéfukce γ(µ=µ,přičemž γ µ (µ=, eboť Xjeestraýmodhademparametru µaplatí

34 34 M4 Pravděpodobost a statistika II E ( XU (µ [ ( = σ E X i( ] X i µ = σ EXi + σ +µ = σ + µ + σ ==γ µ(µ. σ j=i+ ( µ µ σ σ E(X i X j µ (ez. µ σ (iii Xjevydatýmodhadem µ,eboťdolíraova-cramerovahraice (b µjezámé,tj. θ = σ. C (µ= [ γ µ (µ ] J (µ = σ = σ = D X. ( Skórová fukce áhodého výběru(viz příklad 4.7: U (σ = (X i µ σ σ 4 (X i µ = σ 4 = σ 4 ( Fisherova iformace o parametru γ(σ =σ σ ozačme Z i Z i σ. záhodéhovýběru(vizpříklad4.7adůkazvěty4.5: (3 Uvažujme parametrickou fukci a výběrový rozptyl, tj. statistiku J (σ =J(σ = σ 4. T (Y=S = = γ(σ =σ (X i X (X i µ ( X µ ozačme Z i [ ] = Z i ( X µ.

35 RNDr. Marie Forbelská, PhD. 35 Počítejme EZ i =DY i = σ DZ i =EZ i (EZ i = µ 4 σ 4 =σ 4 C(Z i, Z j =E(Z i Z j E(Z i E(Z j =0 E(Z i Z j =σ 4 pro i j. σ 4 Pak (i Sado lze ukázat, že platí ES = σ, tj. S jeestraým odhademparametru σ.dáleobecěprovýběrový rozptyl platí: DS = µ 4 3 ( σ4 a protože v případě ormálího rozděleí máme dostáváme µ 4 =3σ 4, DS = 3σ4 3 ( σ4 = σ4 [3( ( 3] = σ4 (. (ii S jeregulárímodhademparametrickéfukce γ(σ =σ,přičemž γ σ (σ =, eboť je estraým odhadem a platí E ( S U (σ [ ( = ( σ 4E Z i ( X µ ( Z i σ ] [ = EZ ( σ 4 i + E(Z i Z j µ 4 =3σ 4 j=i+ σ 4 E ( Z i ( X µ (+σ 4 σ EZ i + σ E( X µ σ D X= σ = 3σ4 + ( σ 4 (+σ 4 σ 4 + σ 4 ( σ 4 ==γ σ (σ, ]

36 36 M4 Pravděpodobost a statistika II přičemž platí E ( Z i (Ȳ µ = E { Z i [ = [EZ i + 3σ 4 + ][ (X i µ i j= i j= i j k= ] } (X i µ E(Z i Z j σ 4 E ( Z i (X j µ(x k µ ] 0 = [ 3σ 4 +( σ 4] = (+σ4. (iii S jeasymptotickyvydatýmodhadem σ,eboťdolíraova-cramerova hraice je rova a C (σ = [ γ σ (σ ] J (σ = = σ4 σ 4 C (σ lim =. DS < DS = σ4

37 RNDr. Marie Forbelská, PhD KONSTRUKCE BODOVÝCH ODHADŮ MějmeáhodývýběrX=(X,...,X rozsahu zrozděleíodistribučífukci F(x; θ,kde θ=(θ,...,θ m Θ R m.možiaθechťjeeprázdáaotevřeá. Budeme předpokládat, že distribučí fukci F(x; θ lze vyjádřit ve tvaru F(x; θ= x f(x; θdν(t x R θ=(θ,...,θ m Θ, kde νje σ koečámíraa(r, B(apř.Lebesgueovaebočitacíaf(x; θjeezáporá měřitelá fukce, tzv. hustota pravděpodobosti(vzhledem k míře ν. PaksdružeáhustotaáhodéhovektoruX =(X,...,X jevzhledemkezávislosti jedotlivých složek vektoru a jejich stejému rozděleí rova f X (x,..., x ; θ= f(x i ; θ. Mějme dále parametrickou fukcí γ:θ R. Předmětem ašeho zájmu bude hodota parametru θ ebo, obecěji, hodota ěkteré parametrické fukce γ(θ. 5.. METODA MOMENTŮ. Předpokládejme, že pro áhodý výběr existují obecé momety: µ k = µ k (θ=exk i,..., k=,..., m. Výběrové obecé momety jsou defiováy vzorcem M k = Xk i k=,,... Mometovámetodaodhaduparametru θspočívávtom,žezaodhad θvezmemeřešeí rovic M k = µ k (θ k=,..., m. a azveme je odhadem metodou mometů. Někdysemůžestát,že mrovicepostačujekjedozačémuurčeí θ,paksevětšiou připojují další rovice M k = µ k (θ pro k= m+, m+ atd., až se získá potřebý počet rovic. To samozřejmě lze provádět je za předpokladu, že existujípříslušémomety µ k. Odhadem daé parametrické fukce γ(θ metodou mometů rozumíme statistiku γ= γ( θ. Odhady získaé metodou mometů obvykle ejsou dostatečě kvalití, v jedotlivých korétích případech zpravidla lze dokázat kozisteci odhadů.

38 38 M4 Pravděpodobost a statistika II Příklad5.. MějmeáhodývýběrX=(X,...,X rozsahu zormálíhorozděleí oparametrech µaσ,kteréodhadememometovoumetodou. Pak tj. m=aθ=r (0,. θ=(θ, θ =(µ, σ, Sado lze spočítat, že µ = x e ( x µ σ dx=µ πσ µ = x πσ e ( x µ σ dx=µ + σ. Výběrové obecé momety jsou rovy M = M = X i = X Xi. Chceme-li ajít odhady mometovou metodou, musíme řešit soustavu rovic: Z prví rovice ihed dostaeme M = µ M = µ + σ µ= X, což dosadíme do druhé rovice a počítáme ( σ = M X = X i X = Xi X =( S kde S = (X i X jevýběrovýrozptyl. = S, Protože vidíme, že že odhad µ je estraý, avšak E θ ( µ=e θ X= µ, E θ ( σ =E S = σ, takže σ eíestraý,avšakjeasymptotickyestraý. Lze ukázat, že oba odhady jsou kozistetí(slabě i silě.

39 RNDr. Marie Forbelská, PhD METODA MAXIMÁLNÍ VĚROHODNOSTI. Ozačme sdružeou hustotu pravděpodobosti áhodého vektoru X takto L(θ; x,...,x =L(θ,..., θ m ; x,..., x = f(x i ; θ a azveme ji věrohodostí fukcí áhodého výběru. Odhad θ MLE azvememaximálěvěrohodým,jestližeprokaždé θ Θplatí L( θ MLE ; x,..., x L(θ; x,...,x. Zpravidla je vhodější pracovat s logaritmem fukce L. Pak za předpokladů zámých z difereciálíhopočtuvedehledáímaximálěvěrohodéhoodhaduˆθkřešeírovic θ j l L(θ,..., θ m ; x,...,x = θ j l(θ;x= θ j l f(x i ; θ,...,θ m =0 j=,..., m které jsou ve statistické literatuře zámé pod ázvem soustava věrohodostích rovic. Příklad5.. MějmeáhodývýběrX=(X,..., X rozsahu zbiomickéhorozděleí o parametrech m a π. Parametr π odhademe metodou maximálí věrohodosti. Pro áhodý výběr z biomického rozděleí platí {X,...,X } Bi(m, π p(x= {( m x π x ( π m x x=0,,..., m, 0 jiak. Věrohodostí fukce: ( m L(π; X,..., X = π X i ( π m X i X i = π P X i ( π m P X i Logaritmus věrohodostí fukce: l(π; X,...,X = Věrohodostí rovice: ( m = π X( π (m X X i ( m l + Xl π+ (m Xl( π X i l = X (m X=0 π π π π MLE = X m. ( m. Vzhledem k tomu, že epředpokládáme degeerovaé biomické rozděleí s ulovým rozptylem, takže s pravděpodobostí musí platit 0 < X < m, pak sado ověříme, že jde o maximum, eboť pokud spočítáme druhé parciálí derivace l(π; X π,...,x = X (m X= [ ] X + m X <0. π ( π π ( π X i

40 40 M4 Pravděpodobost a statistika II Příklad5.3. MějmeáhodývýběrX=(X,...,X rozsahu zormálíhorozděleí oparametrech µaσ.tytoparametryodhadememetodoumaximálívěrohodosti. Opět θ=(θ, θ =(µ, σ,tj. m=aθ=r (0,. Pak L(θ; X,...,X =L(µ, σ ; X,...,X = πσ e ( X i µ σ =(πσ e P σ (X i µ l L(µ, σ ; X,...,X =l(µ, σ ; X,...,X = l(πσ σ (X i µ. Vyjádřeme věrohodostí rovice Z druhé rovice plye, že ll= π+ σ πσ σ 4 ll µ = σ µ MLE = (X i µ =0 (X i µ=0 X i = X... výběrovýprůměr kde Po dosazeí do prví věrohodostí rovice dostaeme σ + (X i X =0 σ MLE = (X i X = S = S, S = (X i X jevýběrovýrozptyl. Upravme ejprve logaritmus věrohodostí fukce takto: l(µ, σ ; X,...,X = l(π [ l(σ σ (Xi X+( X µ ] = l(π l(σ σ { } (X i x + ( X µ = l(π l(σ σ [ S + ( X µ ]. Nyídokažme,žefukce l(µ, σ ; X,...,X abýváprojakoukolivrealizaci x = X (ω,..., x = X (ω prokaždé ω Ω vbodě( µ MLE, σ =( x, MLE s svéhomaxima,takžepodosazeídostáváme l( x, s ; x,..., x = l(π l(s.

41 RNDr. Marie Forbelská, PhD. 4 Ověřme, zda platí l(µ, σ ; x,...,x? l( x, s ; x,...,x l(π l(σ s +( x µ σ? l(π l(s 0? ( s l s σ σ } {{ }. čle + ( x µ σ 0 Protože pro všecha kladá t= s σ >0 platí l t < t, je prví i druhý čle ezáporý a erovost platí t l t Protože E θ ( µ MLE =E θ X= µ, ale E θ (ˆσ =E MLE θ S = σ, vidímežeodhad µ MLE je estraý,avšak σ MLEjižestraý eí(aleasymptoticky estraý. V tomto případě jsme došli ke stejému výsledku jako u mometové metody. Pozámka 5.4. Maximálě věrohodé odhady mají řadu výhodých vlastostí: ( Existuje-li vydatý(eficietí odhad, má soustava věrohodostích rovic jedié řešeí a to je rové vydatému(eficietímu odhadu. ( Existuje-li postačující(suficietí odhad, je každé řešeí věrohodostích rovic fukcí postačujícího(suficietího odhadu. (3 Pochází-li áhodý výběr z regulárího rozděleí, pak existuje maximálě věrohodý odhad, který je kozistetí a asymptoticky ormálí, tj. v jedorozměrém případě θ MLE A N(θ, J(θ Srováí metody mometů s metodou maximálí věrohodosti. Obecě se dá říci, že mometová metoda je poměrě jedoduchá. Používá se zejméa v těch případech, kdy jié metody odhadu jsou umericky či z jiých důvodů těžko zvládutelé. Na druhé straě pokud jde o rozděleí, která emají koečé momety, pak se tato metoda edá aplikovat vůbec. Někdy se odhady pořízeé mometovou metodou berou alespoň jako počátečí aproximace pro řešeí věrohodostích rovic, pokud je pro jejich řešeí utý iteračí postup.

42 4 M4 Pravděpodobost a statistika II 5.4. METODAMINIMÁLNÍHO χ. Nejprve si připomeňme jedo velmi důležité vícerozměré diskrétí rozděleí, a to multiomické. Multiomické rozděleí popisuje situaci, kdy máme k eslučitelých jevů, které mohou astat v každém z ezávislých pokusů s pravděpodobostmi k π,..., π k přičemž π j =. j= Nechťáhodáveličia Y j začípočetpřípadů,kdyastal j-týjev,takže Y j můžeabývat hodotodulydo amusíplatit k Y j =. j= NáhodývektorY=(Y,...,Y k pakmámultiomickérozděleíspravděpodobostí fukcí k π y j j! f Y (y= y j pro y! j =0,,..., ; j= 0 jiak k y j = k π j = j= j=, což lze ekvivaletě apsat i takto azačíme f Y (y= přičemžplatípro j, h=,...,k {! πy πy k k ( π π k ( y y k y! y k!( y y k pro y! j =0,,..., 0 jiak. Y M(, π,...,π k, EY j =π j DY j =π j ( π j C(Y j, Y h = π j π h. Multiomické rozděleí je zobecěím biomického rozděleí a je patrě ejdůležitějším diskrétím mohorozměrým rozděleím. Svým výzamem by se dalo přirovat k mohorozměrému ormálímu rozděleí, jemuž se podobá především díky dvěma vlastostem: podmíěá i margiálí rozděleí jsou opět multiomická. NyíseopětvrátímekáhodémuvýběruX=(X,...,X rozsahu zrozděleí odistribučífukci F(x; θ,kde θ=(θ,...,θ m Θ R m. Přiodhaduezáméhoparametru θmetodoumiimálího χ azákladěáhodého výběrux=(x,...,x postupujemetak,že ( rozdělí se iterval (, a koečý počet pod dvou disjuktích podmoži B,...,B k (pokudejdeovýběrzdiskrétíhorozděleí,kteréabývápouzekoečého počtu hodot

43 RNDr. Marie Forbelská, PhD. 43 ( určí se pravděpodobosti p j (θ= df(x; θ B j jako fukce parametru θ (3prodaourealizaciáhodéhovýběruseurčíbod θ,věmžfukce χ (θ= ( k Y j p j (θ pj (θ j= abývá miima, přičemž Y j = I(X i B j jepočetbodů X,...,X ležícíchvb j (samozřejměmusíplatit k j= Y j=. Pokud je tato fukce diferecovatelá, hledáí miima vede a řešeí soustavy rovic χ (θ = θ h k ( Yj p j (θ j= p j (θ + [Y j p j (θ] pj (θ p j (θ =0 (h=,...,k ( θ h vzhledemkezámým θ,...,θ k.avšakivejjedoduššíchpřípadechjevelmiobtížé řešit systém rovice(. Potíže způsobuje čle [Y j p j (θ] p j (θ. Provelká jevšakvlivtohotočleuzaedbatelý, aprotoseřešeísoustavy( ahrazuje řešeím soustavy k j= Y j p j (θ p j (θ =0 (h=,...,k (3 p j (θ θ h Tetopostupseazývámodifikovaoumetodoumiimálího χ. Odhady získaé oběma metodami jsou při dosti obecých podmíkách kozistetími odhady.

44 44 M4 Pravděpodobost a statistika II 6. INTERVALOVÉ ODHADY 6.. Defiice itervalového odhadu. Odhady, jimiž jsme se doposud zabývali, se ěkdy azývají bodové odhady parametrické fukce γ(θ. Jetomutakproto,žeprodaourealizaciáhodéhovýběru x,...,x představujeodhad daýstatistikou T (x,...,x jedié číslo(bod,kteréjevjistémsmyslupřiblížeím ke skutečé hodotě parametrické fukce γ(θ. Úlohu odhadu však lze formulovat i jiým způsobem. Jde o to, sestrojit a základě daého áhodého výběru takový iterval, jehož koce jsou statistiky, a který se s dostatečě velkou přesostí pokryje skutečou hodotu parametrické fukce γ(θ. V tomto případě mluvíme o itervalovém odhadu parametrické fukce γ(θ. Podobá je úloha zkostruovat a základě áhodého výběru statistiku, o íž lze s dostatečě velkou spolehlivostí prohlásit, že skutečá hodota parametrické fukce je větší ež tato statistika. V tomto případě mluvíme o dolím odhadu parametrické fukce γ(θ. Aalogicky lze zavést pomocí opačé erovosti pojem horího odhadu γ(θ. Defiice 6.. Nechť {X,..., X } F(x; θjeáhodývýběrrozsahu zrozděleí odistribučífukci F(x; θ, θ Θ.Dálemějmeparametrickoufukci γ(θ, α (0,a statistiky D= D(X,...,X ah= H(X,...,X. Potom itervaly D, H azveme 00( α% itervalem spolehlivosti pro parametrickou fukci γ(θ jestliže P θ (D(X,...,X γ(θ H(X,...,X = α Jestliže P θ (D(X,..., X γ(θ= α, pakstatistiku D=D(X,...,X azývámedolímodhademparametrickéfukce γ(θsespolehlivostí α(ebosrizikem α. Jestliže P θ (γ(θ H(X,...,X = α pakstatistiku H= H(X,...,X azývámehorímodhademparametrickéfukce γ(θsespolehlivostí α(ebosrizikem α. Pozámka 6.. Vysvětleme si yí smysl pojmu spolehlivost itervalových odhadů. Kokrétídata x,...,x (tj.realizaceáhodéhovýběrux=(x,...,x ejsou áhodými veličiami, ýbrž jsou to výsledky určitého pokusu ω, tj. x = X (ω,..., x = X (ω. Sestrojíme-li tedy a jejich základě itervalový odhad, řekěme (a, b, parametrické fukce γ(θ,pakemásmyslmluvitopravděpodobosti P(a < γ(θ < b,protoževšechy třisymbolyjsoureáláčísla(třebaže γ(θezámeaerovost a < γ(θ < bbuďplatí ebo eplatí, tj. áš itervalový odhad je buď správý ebo esprávý. Budeme-li však sestrojovat itervalové odhady vícekrát po sobě, pak poměrá četost případů, kdy itervalový odhad bude správý, bude přibližě rova α. Číslo α se volí poměrě malé, ejčastěji 0.05 spolehlivost je pak 0.95 tj. 95% tj. 99%

45 RNDr. Marie Forbelská, PhD. 45 Kromědostatečéspolehlivostibychomchtěli,abyiterval D (X, T (X bylcomožá ejkratší. Tyto požadavky jsou však(při pevém rozsahu výběru protichůdé. Žádáme-li větší spolehlivost, musíme se smířit s delším itervalem; žádáme-li aopak kratší iterval, musíme se smířit s ižší spolelivostí. 6.. Kvatily. Nyí defiujme kvatilovou fukci a kvatil. Defiice6.3.Nechť Fjedistribučífukcíaα (0,.Potomfukci se azývá kvatilová fukce a číslo F (α=q(α=if{x R:F(x α} x α = Q(α se azývá α-kvatilem rozděleí s distribučí fukcí F(x, přičemž x 0.5 = Q(0.5 seazývá dolíkvartil x 0.5 = Q(0.5 mediá x 0.75 = Q(0.75 horíkvartil x 0.75 x 0.5 = IQR iterkvartilérozpětí Z defiice kvatilů vyplývá ásledující vztah. Je-li X absolutě spojitá áhodá veličia, pak platí P(x α/ < X x α/ =F(x α/ F(x α/ Příklad 6.4. Kvatilová fukce diskrétího rozděleí Uvažujme diskrétí rozděleí, ve kterém áhodá veličia X abývá pouze tří hodot 0, asestejýmipravděpodobostmi. Totorozděleíazvemerovoměrědiskrétíabudemezačit Rd { 0,,},takže pravděpodobostí, distribučí a kvatilová fukce jsou tvaru Pravděpodobostí fukce X Rd { 0,,} Distribučí fukce F(x Kvatilová fukce Q(α 3 p(x= { 3 x=0,, 0 jiak

46 46 M4 Pravděpodobost a statistika II Příklad 6.5. Kvatilová fukce spojitého rozděleí Uvažujme spojité expoeciálí rozděleí s parametrem λ > 0, začíme Ex(λ. Náhodá veličia X abývá pouze ezáporých hodot a její hustota je tvaru { λe λx x 0, λ >0 X Ex(λ f(x= 0 jiak. Odvodíme distribučí fukci F(x= x f(tdt= akvatilovoufukcipro0 α 0. α = e λx e λx = α λx = l( α x = l( α λ Hustota f(xpro λ=0. { 0 x <0, x 0 λe λt dt= [ e λt] x = 0 e λx x 0. Q(α= Distribučí fukce F(x l( α λ 35 pro 0 α. Kvatilová fukce Q(α Na závěr tohoto příkladu ještě alezeme dolí, horí kvartil a mediá. Mediá: x 0.5 = l Dolíkvartil: x 0.5 = l Horíkvartil: x 0.5 = l = l λ λ = l4 3 λ λ = l λ λ 6.3. Kvatily ěkterých důležitých rozděleí. Zaveďme ásledující začeí: Φ distribučí fukce stadardizovaého ormálího rozděleí G distribučífukcerozděleí χ o stupíchvolosti H distribučífukcestudetovarozděleíostupíchvolosti Q,m distribučífukcefisherova-sedecorovarozděleíoamstupíchvolosti u α kvatilystadardizovaéhoormálíhorozděleí χ α (ν kvatilyrozděleí χ o νstupíchvolosti t α (ν kvatilystudetovarozděleíoνstupíchvolosti F α (ν, ν kvatilyfisherova-sedecorovarozděleíoν a ν stupíchvolosti Je-li distribučí fukce F absolutě spojitá a ryze mootóí a je-li příslušá hustota fsudáfukce,pakplatí F(x= F( x x R aodtud x α = x α α (0,, což speciálě platí pro ormálí a Studetovo rozděleí.

47 RNDr. Marie Forbelská, PhD Krabicový graf (box plot, box ad whisker plot. Velmi často užívaým grafem, který se řadí k metodám průzkumové aalýzy dat(eda- Exploratory Data Aalysis dolí kvartil x 0.5 IQR horí kvartil x 0.75 odlehlá pozorováí mediá x 0.5 x IQR 6.5. Empirická(výběrová kvatilová fukce. Je defiováa pomocí áhodého výběru takto kde {X,...,X } Q emp (p i =X (i pro p i = i, X ( X ( X ( jsou tzv. pořádkové statistiky, tj. uspořádaý áhodý výběr. Teoritická a empirická kvatilová fukce expoeciálího rozděleí Q Q grafy(q Q plots, Quatile quatile plots. Velmi užitečý graf, pomocí kterého můžeme apř. porovávat teoretické a výběrové kvatily kvatily dvou výběrů Na ásledujících třech obrázcích budeme demostrovat použití Q Q grafů pro simulovaá data z expoeciálího, Poissoova a ormálího rozděleí. Pokud jsou geerovaá data ze stejé rodiy rozděleí, body leží zhruba a přímce a platí teoretické kvatily X (i Q(p i =F (p i pro X F(x a Y (i a+bq(p i pro Y F ( x a b Pocházejí-li z růzých rozděleí, část bodů leží výrazě mimo přímku. Expoeciálí rozděleí Expoeciálí a ormálí Poissoovo rozděleí rozděleí výběrové kvatily dat z Ex(0.0 výběrové kvatily. výběr P o( výběrové kvatily. výběr P o(0 výběrové kvatily. výběr N(5, výběrové kvatily. výběr Ex(0.0.

48 48 M4 Pravděpodobost a statistika II 6.7. Kostrukce itervalových odhadů. Popíšeme yí jedu metodu kostrukce itervalových odhadů, která je použitelá ve většiě případů. ( Najdeme ějakou tzv. pivotovou statistiku, tj. fukci h áhodého výběru X=(X,...,X aparametrickéfukce γ(θ,tedyáhodouveličiu h(x, γ(θ, tak aby její rozděleí již ezáviselo a parametru θ. (Nechť q α/ a q α/ jsoukvatilyrozděleístatistiky Pakprovšecha θplatí h(x, γ(θ. P θ (q α/ < h(x, γ(θ q α/ = α (3 Jestliže lze erovosti v závorce převést ekvivaletími úpravami a tvar, kde mezi erovostmi stojí je γ(θ, pak jsme sestrojili itervalový odhad ospolehlivosti α. D (X γ(θ H (X Tedy, je-li h(x, γ(θ ryze mootoí fukce, pak existuje iverzí fukce h (h(x, γ(θ=γ(θ. (a Pokud je h(x, γ(θ rostoucí fukce, pak platí P θ (h (q α/ γ(θ h (q α/ = α. (b Pokud je h(x, γ(θ klesající fukce, pak platí P θ (h (q α/ γ(θ h (q α/ = α.

49 RNDr. Marie Forbelská, PhD BODOVÉ A INTERVALOVÉ ODHADY PARAMETRŮ NORMÁLNÍHO ROZDĚLENÍ Nechť k, N, ν, ν, ν,...,ν k N, b 0, b,...,b R, i {,..., } : b i 0 Připomeňme, že platí: Normálí rozděleí: shustotou X N(µ, σ f(x= πσ e ( x µ σ x R mástředíhodotu EX= µarozptyl DX= σ.totorozděleímáásledujícívlastosti: ( {X,...,X } X i N(µ i, σi b 0 + b i X i N b 0 + b i µ i, b iσi χ rozděleí: X N(µ, σ U= X µ σ N(0, {U,..., U ν } N(0, K= U + +U ν χ (ν {K χ (ν,...,k k χ (ν k } K= K + +K k χ (ν + +ν k Studetovo t-rozděleí: U N(0, K χ (ν T= U K ν t(ν Fisherovo-Sedecorovo F-rozděleí: K χ (ν K χ (ν F= K /ν K /ν F(ν, ν Ještě ež začeme odvozovat rozděleí výběrových statistik, připomeňme si, že platí věty: Věta 7.. Nechť áhodý vektor X=(X,...,X N (µ,σ má rozměréormálírozděleíabjeregulárímaticereálýchčíseltypu a a R.Potomáhodývektor Y=a+BX N (a+bµ,b ΣB. Důkaz. Hustota pravděpodobosti áhodého vektoru X je tvaru Iverzí trasformace k trasformaci f X (x=(π Σ e (X µ Σ (X µ. Y=a+BX je rova X=B (Y a a jakobiá této iverzí trasformace je tvaru J = B = B. Pak hustotu pravděpodobosti trasformovaé áhodého vektoru Y=a+BX

50 50 M4 Pravděpodobost a statistika II lze vyjádřit takto f Y (y=f X (B (Y a B =(π Σ B e [B (y a µ] Σ [B (y a µ] =(π B ΣB e (y a Bµ B ΣB (y a Bµ N (a+bµ,b ΣB Věta7..Nechť X,...,X jsouezávisléáhodéveličiytakové,že X i N(µ i, σ,...,. abjeortoormálímaticetypu.položmex=(x,...,x a Y=(Y,...,Y =B (X µ, kde µ=(µ,...,µ.potom Y j jsouezávisléáhodéveličiya Y j N(0, σ. Důkaz.Protože X,...,X jsouezávisléáhodéveličiysrozděleím X i N(µ i, σ, má áhodý vektor X hustotu pravděpodobosti f X (x= [ πσ e ( x i µ i σ ]=(π e P ( x i µ i σ N (µ,σ, kdeσ=σ I. Je-li B ortoormálí matice (tj.b = B, pak z věty 7. plye, že áhodý vektor Y=B (X µ N (O,B ΣB, kdeb ΣB=σ B B=σ I s hustotou pravděpodobosti f Y (Y= [ ] πσ e ( y j σ = f Yj (y j. Odtud plye tvrzeí věty. j= j= Na základě těchto vlastostí můžeme odvodit rozděleí výběrových statistik v případě áhodých výběrů z ormálího rozděleí. Věta 7.3. Mějme {X,...,X } N(µ, σ avýběrovýprůměr X= X i avýběrový rozptyl S = (X i X.Pakplatí ( ( Výběrovýprůměr X N µ, σ ( Statistika U= X µ σ N(0, (3 Statistika K= S χ ( σ (4 Statistika T= X µ S t( ( Důkaz.Mějmeortoormálímaticitypu,jejížprvířádekje,tj.apř.,..., B= b b b 3. b b = 3 3. ( ( ( ( ( ( ( ( ( ( ( (.

51 RNDr. Marie Forbelská, PhD. 5 Podle věty 7. Y=(Y,...,Y =B(X µ N(0, σ I a Y i jsouezávisléormálěrozděleéáhodéveličiysuloustředíhodotouasestejým rozptylem σ. Nejprve dokážeme důležité vztahy (apočítejme: Y Y =(X µ B B =I (X µ=(x µ (X µ= (X i µ. (bvyjádřeme Y =b (X µ= (X i µ= ( X µ= ( X µ. (c Nakoec spočítejme (X i X = = [(X i µ ( X µ] (X i µ ( X µ } {{ } Y Y =Y Y ( X µ = Y Nyí budeme dokazovat jedotlivá tvrzeí věty: ( Ze vztahu(b dostaeme přičemž Odtud ihed dostaeme, že (X i µ +( X µ } {{ } ( X µ Y i Y = Y = ( X µ=b (X µ N(µ Y, σ Y, µ Y =b E(X µ=b (µ µ=0 σ Y =b DXb = σ b b = σ. X= µ+ Y N (µ, σ. i= Y i. Provedeme-li stadardizaci, tj. takovou lieárí trasformaci, která zajišťuje ulovou středí hodotu a jedotkový rozptyl, dostaeme prví tvrzeí věty: U= U X= X E X = X µ N(0,. D X σ (Náhodéveličiy Y i jsouezávisléormálěrozděleéáhodéveličiysuloustředí hodotouasestejýmrozptylem σ,tj. {Y,...,Y } N(0, σ. Provedeme-li opět jejich stadardizaci, dostaeme posloupost ezávislých stadardizovaých ormálích áhodých veliči { Y σ,..., Y } N(0,, σ jejichžkvadráty K i = ( Y i mají σ χ rozděleíojedomstupivolosti,tj. {K = ( Y σ,...,k = ( Y } σ χ (.

52 5 M4 Pravděpodobost a statistika II Protožeáhodáveličia,kterájesoučteměkolikaezávislýcháhodýchveličisχ rozděleím,máopět χ rozděleí,přitomjejístupeňvolostijerovesoučtujedotlivých stupňů volosti, dostáváme druhé tvrzeí věty: K= K + +K = i= ( Yi = S χ (. σ σ (3Protože Y,...,Y jsouezávisléáhodéveličiyaámsejiždřívepodařilovyjádřit výběrový průměr a výběrový rozptyl takto X= µ+ Y a S = jevidět,žestatistiky Xa S jsoustochastickyezávislé,začíme X S. i= Y i, Abychom dostali áhodou veličiu, která má Studetovo rozděleí, potřebujeme mít dvěezávisléáhodéveličiy,zichžjeda,ozačmejijako U,mástadardizovaé ormálírozděleí,adruhá,ozačmejijako K,má χ rozděleísνstupivolosti. K ν Pakáhodáveličia T = U má Studetovo rozděleí s ν stupi volosti, tj. U N(0, K χ (ν T = U K ν t(ν. Položíme-li U = U= U X= X µ N(0, a K = K= S χ ( σ σ pak statistika T = U K ν = X µ σ σ S = X µ t(, S čímž jsme dokázali posledí tvrzeí věty. Pozámka 7.4. Statistiky U, K a T se azývají pivotové statistiky, přičemž U= X µ σ jepivotovoustastistikouproezámýparametr µ K= S - - σ σ T= X µ S přizámém σ - - µ přiezámém σ

53 RNDr. Marie Forbelská, PhD. 53 Důsledek 7.5. Mějme {X,...,X } N(µ, σ, kde µ je ezámý parametr a σ Rjezáméreáléčíslo.Pak X u α/ σ, X+ u α/ σ - je00( α%itervalspolehlivosti prostředíhodotu µpřizámém σ X u α σ - jedolíodhadstředíhodoty µ přizámém σ sespolehlivostí α X+ u α σ - jehoríodhadstředíhodoty µ přizámém σ sespolehlivostí α Důkaz. Za pivotovou statistiku zvolíme statistiku U= U X= X µ σ N(0,. U N(0, α α/ α/ Pro lepší čitelost místo P θ = P µ budeme psát pouze P. Počítejme α=p(u α U u α = P(u α X µ σ σ = P( X u α/ u α µ X+ u α/ σ u α/ = u α/ u α/ Důsledek 7.6. Mějme {X,...,X } N(µ, σ,kde µaσ jsouezáméparametry. Pak ( pro středí hodotu µ X t α/ ( S, X+ t α/ ( S - je00( α%itervalspolehlivosti prostředíhodotu µpřiezámém σ X t α ( S - jedolíodhadstředíhodoty µ přiezámém σ sespolehlivostí α X+ t α ( S - jehoríodhadstředíhodoty µ přiezámém σ sespolehlivostí α (prorozptyl σ ( S, ( S ( χ α( χ α - je00( α%itervalspolehlivostiprorozptyl σ ( S χ α ( ( S χ α( - jedolíodhadrozptylu σ sespolehlivostí α - jehoríodhadrozptylu σ sespolehlivostí α

54 54 M4 Pravděpodobost a statistika II Důkaz. ( V případě hledáí itervalu spolehlivosti pro středí hodotu při ezámém rozptylu za pivotovou statistiku zvolíme statistiku t α/ (ν = t α/ (ν T t(ν α α/ α/ T= X µ t(. S t α/ (ν Prolepšíčitelostmísto P θ = P µ,σ budemepsát pouze P. α=p(t α/ ( T t α/ ( = P(t α/ ( X µ S t α/ ( = P( X t α/ ( S µ X+ t α/ ( S ( V případě hledáí itervalu spolehlivosti pro rozptyl za pivotovou statistiku zvolíme statistiku K= σ S χ (. Počítejme α=p(χ α K χ ( α ( = P(χ α( S χ σ α( ( ( S ( S = P χ α ( σ χ α ( K χ (ν α α/ α/ χ (ν χ α/ (ν α/ V dalším si budeme všímat itervalů spolehlivosti pro dva ezávislé výběry. Věta 7.7. Nechť {X,...,X X } N(µ X, σx jeáhodývýběrrozsahu Xzormálího rozděleí N(µ X, σx, XjejehovýběrovýprůměraS X jehovýběrovýrozptyl. Dále echť {Y,...,Y Y } N(µ Y, σy jeáhodývýběrrozsahu Y zormálíhorozděleí N(µ Y, σy, Ȳ jejehovýběrovýprůměras Y jehovýběrovýrozptyl. Předpokládejme, že oba výběry jsou stochasticky ezávislé, tj. X Y. Pak ( Statistika U X Ȳ= X Ȳ (µ X µ Y (Pokud σx = σ Y = σ,pakstatistika T X Ȳ= X Ȳ (µ X µ Y X Y S XY X + Y (3 Statistika F= S X S Y σy σx σ X x + σ Y Y N(0,. t( X + Y,kde S XY= ( X S X +( Y S Y X + Y. F( X, Y.

55 RNDr. Marie Forbelská, PhD. 55 Důkaz.Zezávislostiáhodýchvýběrůvyplývá,ževšechystatistiky X, Ȳ, S X a S Y jsou ezávislé, tj. { X, Ȳ, S X, S Y }. ( Protože výběrové průměry ormálích áhodých výběrů mají opět ormálí rozděleí, tj. ( X N µ X, σ X X a ( Ȳ N µ Y, σ Y Y, takijejichrozdíljeopětormálí,tj. ( Z= X Ȳ N µ X µ Y, σ X + σ Y X Y Potomstadardizovaááhodáveličia U Z mástadardíormálírozděleí,tj. U Z = U X Ȳ= X Ȳ (µ X µ Y tím jsme dokázali prví tvrzeí věty. σ X X + σ Y Y (Je-li σ X = σ Y = σ,pakstatistika U Z jetvaru U Z = U X Ȳ= X Ȳ (µ X µ Y σ X x + σ Y Y = = X Ȳ (µ X µ Y σ. N(0,, X Ȳ (µ X µ Y σ X Y X + Y X + Y N(0,. Ozačíme-lidvěezávisléstatistikysχ rozděleím K X = X S σ X χ ( X a K Y = Y S σ Y χ ( Y, pakstatistika K= K X +K Y máopět χ rozděleísestupivolosti,kteréjsousoučtem stupňůvolostistatistik K X a K Y,tj. K= K X + K Y = X S σ X + Y S σ Y = σ [ (X S X+( Y S Y ] χ ( X + Y. Položme pak S XY= ( X S X +( Y S Y X + Y K= X+ Y S σ XY. Abychom dostali áhodou veličiu, která má Studetovo rozděleí, potřebujeme mít dvěezávisléáhodéveličiy,zichžjeda,ozačmejijako U,mástadardizovaé ormálírozděleí,adruhá,ozačmejijako K,má χ rozděleísνstupivolosti. K ν Pakáhodáveličia T = U U N(0, K χ (ν má Studetovo rozděleí s ν stupi volosti, tj., T = U K ν t(ν.

56 56 M4 Pravděpodobost a statistika II Položíme-li U = U= U X Ȳ= X Ȳ (µ X µ Y X Y σ X + Y N(0, a K = K= X+ Y σ S XY χ ( X + Y pak statistika T = U K ν = X Ȳ (µ X µ Y σ X Y X + Y X + Y σ SXY X + Y = X Ȳ (µ X µ Y S XY X Y X + Y t( X + Y, čímž jsme dokázali druhé tvrzeí věty. (3 Chceme-li dokázat třetí tvrzeí, musíme ajít dvě ezávislé áhodé veličiy, které mají χ rozděleí.ozačmeje K χ (ν ak χ (ν.pakáhodáveličia F = K /ν K /ν F(ν, ν. Položíme-li K= K X = X S σx X a K= K Y = Y S σy Y, dostáváme F = K /ν K /ν = X S σx X /( X Y S σy Y /( Y = S X SY σy σx F( X, Y a tím jsme dokázali i posledí tvrzeí věty.

57 RNDr. Marie Forbelská, PhD. 57 Důsledek 7.8. Nechť {X,...,X X } N(µ X, σx jeáhodývýběrrozsahu Xzormálíhorozděleí N(µ X, σx, XjejehovýběrovýprůměraS X jehovýběrovýrozptyl. Dále echť {Y,...,Y Y } N(µ Y, σy jeáhodývýběrrozsahu Y zormálíhorozděleí N(µ Y, σy, Ȳ jejehovýběrovýprůměras Y jehovýběrovýrozptyl. Předpokládejme, že oba výběry jsou stochasticky ezávislé, tj. X Y. Pak (jsou-li σy a σ Xzámé,pak00( α%itervalspolehlivostiprorozdílstředích hodot µ X µ Y jetvaru X Ȳ u σ α X X + σ Y Y, X Ȳ+ u σ α X X + σ Y Y. (Jestliže σy a σ X ejsouzámé aplatí σ Y = σ X = σ,pak00( α%itervalspolehlivostiprorozdílstředíchhodot µ X µ Y jetvaru X Ȳ t α ( X+ Y S X + Y XY X Y, X Ȳ+ t α( X+ Y S X + Y XY X Y, kde (3Při ezámých µ x, µ Y, σ X, σ Y σ X σ Y rove SX SY F α Důkaz. Obdobě jako v předchozí větě ( jako pivotovou statistiku použijeme u α/ = u α/ U N(0, α α/ α/ S XY= ( X S X +( Y S Y X + Y. je00( α%itervalspolehlivostipropodílrozptylů ( X, Y, S X SY U X Ȳ= X Ȳ (µ X µ Y u α/ Tím jsme dokázali prví tvrzeí. σ X x + σ Y Y F α ( X, Y N(0,. Počítejme α=p ( u α U X Ȳ u α = P u α X Ȳ (µ X µ Y u ( = P X Ȳ u α. σx x + σ Y Y σ X X + σ Y Y X Ȳ+ u α α µ X µ Y σx X + σ Y Y ( V případě hledáí itervalu spolehlivosti pro rozdíl středích hodot při ezámém rozptylu σ = σx = σ Y zapivotovoustatistikuzvolímestatistiku T X Ȳ= X Ȳ (µ X µ Y X Y t( X + Y, S XY X + Y kde S XY =( X S X +( Y S Y X + Y.

58 58 M4 Pravděpodobost a statistika II Ozačme ν= X + Y apočítejme α=p(t α/ (ν T X Ȳ t α/ (ν ( = P t α/ (ν X Ȳ (µ X µ Y X Y S XY X + Y t α/ (ν = P ( X Ȳ t α (ν S X + Y X Y µ X µ Y X Ȳ+t α(ν S X + Y X Y čímž jsme dokázali druhé tvrzeí. T t(ν α α/ α/, t α/ (ν = t α/ (ν t α/ (ν (3 V případě hledáí itervalu spolehlivosti pro podíl rozptylů za pivotovou statistiku zvolíme statistiku F= S X S Y σy σx Položme ν = X aν = Y apočítejme F( X, Y. α/ F F(ν,ν α F α/ (ν,ν F α/ (ν,ν a tím jsme dokázali i posledí tvrzeí. α/ α=p(f α (ν, ν F F α = P = P ( F α (ν, ν S X ( S X S Y F α S Y σy σx (ν, ν F α (ν, ν ( X, Y σ X σy S X SY F α ( X, Y Pozámka 7.9. Ve statistických tabulkách bývají uváděy kvatily F-rozděleí pouze prohodoty α 0.5.Ukážeme,pročeítřebauváděthodotykvatilůpro α < 0.5. Uvažujme místo pivotové statistiky F statistiku F = S Y σx = SX σy F F( Y, x. Opětozačme ν = X aν = Y apočítejmeitervalspolehlivostiprotakto avržeou pivotovou statistiku α=p(f α (ν, ν F F α (ν, ν =P = P ( S X S Y F α ( Y, X σ X σ Y Takže F α ( Y, X = lze vyjádřit i takto S X S Y F α ( X, Y, S X F α( X, Y S Y ( F α (ν, ν S Y SX S X F SY α ( Y, X σ X σ Y F α (ν, ν aitervalspolehlivostipro σ X σ Y F α ( Y, X.

59 RNDr. Marie Forbelská, PhD. 59 V dalším se zaměříme a iterval spolehlivosti pro rozdíl středích hodot u tzv. párových výběrů. jeáhodývýběrzdvourozměr- ( ( µx aσ= σ X ρσ X σ Y,kde Věta 7.0.NechťX =(X, Y,...,X =(X, Y éhoormálíhorozděleí N (µ,σ sparametry µ= µ X, µ Y R, σx >0, σ Y >0aρ (0,. µ Y ρσ X σ Y σ Y Z i = X i Y i Pro,...,ozačme Z = Z i SZ = (Z i Z. Pak Z t α ( S Z, Z+ t α ( S Z jeitervalovýodhadparametrickéfukce µ X µ Y ospolehlivosti α. Důkaz. Připomeňme, že margiálí áhodé veličiy vícerozměrého áhodého vektoru jsou opět ormálí áhodé veličiy, tj. a {X,...,X } N(µ X, σ X {Y,...,Y } N(µ Y, σ Y. Takže pro jejich rozdíl Z i = X i Y i,..., platí, že mají také ormálí rozděleí kde {Z,...,Z } N(µ Z D, σ Z, EZ i = E(X i Y i =µ x µ Y DZ i = D(X i Y i =C(X i Y i, X i Y i = C(X i, X i C(X i, Y i C(Y i, X i +C(Y i, Y i = DX i C(X i, Y i =ρσ X σ Y +DY i = σ X ρσ X σ Y + σ Y. Budeme-li aplikovat důsledek 7.6 a Z,...,Z, dostaeme tvrzeí věty.

60 60 M4 Pravděpodobost a statistika II 8. BODOVÉ A INTERVALOVÉ ODHADY ZALOŽENÉ NA CENTRÁLNÍ LIMITNÍ VĚTĚ Odhady parametrů ormálího rozděleí, které jsme doposud zkoumali, mají díky cetrálí limití větě(clv širší použití. Často lze ajít takovou trasformaci h, že áhodá veličia h(x, γ(θ má pro asymptoticky stadardizovaé ormálí rozděleí N(0,, tj. h(x, γ(θ A N(0, Přitom rozděleí, z ěhož výběr pochází - emusí splňovat požadavky spojitosti a ryzí mootoie distribučí fukce, -můžebýtidiskrétí. Bodové i itervalové odhady lze pak sestrojit stejým způsobem jako v případě ormálích áhodých výběrů, jejich spolehlivost bude α je přibližě, tj. asymptoticky. Věta 8.. Mějme {X,...,X } L(µ(θ, σ (θavýběrovýprůměr X= X i.nechť S = S (Xje(slaběkozistetímodhademrozptylu σ (θ.pakstatistika U = X µ(θ S A N(0,. Důkaz. Podle Lidebergovy-Levyho CLV mají stadardizovaé průměry asymptoticky stadardizovaé ormálí rozděleí, tj. U X= X E X D X což lze ekvivaletě apsat také takto = X µ(θ σ (θ U X = X µ(θ A N(0,, σ(θ L U N(0,. Abychomdokázali,žetaké U = X µ(θ S A N(0,,budemepotřebovatásledující tvrzeí, které uvedeme bez důkazu(lze ajít apř. v kize Rao, R. C.: Lieárí metody statistické idukce a jejich aplikace. Academia Praha, 978 Jestliže Z L Z Y P c Z Y L cz Pokud položíme L Z = U X Z= U a Y = σ(θ P S, eboť S je(slaběkozistetímodhademrozptylu σ (θ,pakjiždostaemetvrzeívěty, tj. U = Z Y = X µ(θ S L cz= U N(0,. Jako trasformaci jsme zvolili fukci h(x, µ(θ=u X σ(θ S = X µ(θ S.

61 RNDr. Marie Forbelská, PhD. 6 Důsledek 8.. Nechť {X,...,X } L(µ(θ, σ (θjeáhodývýběrskoečými druhými momety. Potom itervalovým odhadem středí hodoty µ(θ o asymptotické spolehlivosti αjeiterval X u α S, X+ u α S, kde S jevýběrovýrozptyl,tj. S = (X i X. Důkaz.Důkazjezřejmý,eboť S = S jekozistetímodhademrozptyluajakopivotovou statistikujsmepřitvorběitervalovéhoodhadupoužili U sasymptotickystadardizovaým ormálím rozděleím. Důsledek 8.3.(Biárí áhodé výběry. Nechť {X,..., X } A(pjeáhodý výběr s alterativím(biárím rozděleím. Potom itervalovým odhadem parametru p o asymptotické spolehlivosti α je iterval X( X X( X X u α, X+ u α. Důkaz. Nejprve připomeňme, že pro áhodé veličiy s alterativím(biárím rozděleím platí EX i = p a DX i = p( p. Protože Xjekozistetímodhademstředíhodoty,cožjeparametr p,pakstatistika je kozistetím odhadem rozptylu p( p. S = X( X Přitvorběitervalovéhoodhadujakopivotovoustatistikujsmeopětpoužili U sasymptoticky stadardizovaým ormálím rozděleím. Důsledek 8.4.(Poissoovské áhodé výběry. Nechť {X,...,X } Po(λ je áhodý výběr s Poisoovým rozděleím. Potom itervalovým odhadem parametru λ (0 < λ < oasymptotickéspolehlivosti αjeiterval X X u α, X+ X u α. Důkaz. Připomeňme, že pro áhodé veličiy s Poissoovým rozděleím platí EX i = DX i = λ. Protože Xjekozistetímodhademstředíhodoty,cožjeparametr λ,pakstatistika je kozistetím odhadem rozptylu λ. S = X Přitvorběitervalovéhoodhadujakopivotovoustatistikujsmeopětpoužili U sasymptoticky stadardizovaým ormálím rozděleím.

62 6 M4 Pravděpodobost a statistika II 9. TESTOVÁNÍ STATISTICKÝCH HYPOTÉZ MějmeáhodývýběrX=(X,...,X rozsahu zrozděleíodistribučífukci F(x; θ, kde θ=(θ,..., θ m Θ R m. Možia Θ echť je eprázdá a otevřeá. Předpokládejme, že o parametru θ existují dvě kokurující si hypotézy: Tvrzeí H 0 seazývá ulovou hypotézou. H alterativí hypotézou.. H 0 : θ Θ 0 Θ H : θ Θ =Θ Θ 0 Je-li Θ 0 Θ jedobodová,azývásejedoduchou,vopačémpřípaděsložeouhypotézou. OplatostitétohypotézysemározhodoutazákladěáhodéhovýběruX=(X,..., X, րzamíteme ebo atotak,že platosthypotézy H ց ezamíteme 0. Natestováípoužijemestatistiku T = T(X,kterouazývámetestovací statistikou. Možiu hodot, které může testovací statistika abýt, rozdělíme a dvě disjuktí oblasti. Jeduozačíme W α,aazvemejikritickouoblastí(ebotakéoblastízamítutíhypotézy a druhá je doplňkovou oblastí(oblast ezamítutí testovaé hypotézy. Nazákladěrealizaceáhodéhovýběrux=(x,...,x vypočítámehodotutestovací statistiky t = T(x. Pokud hodota testovací statistiky t abude hodoty z kritické oblasti, tj. t = T(x W α,pakulovouhypotézuzamítáme. Pokud hodota testovací statistiky abude hodoty z oblasti ezamítutí, tj. t = T(x / W α,takulovouhypotézuezamítáme,cožovšemezameá že přijímáme alterativu. Toto rozhodutí emusí však být správé. V ásledující tabulce jsou uvedey možé situace H 0 platí eplatí zamítáme chyba.druhu(α 0 jehladiatestu O.K.(tzv.sílatestučisilofukce t = T(x W α α 0 =sup θ Θ0 P θ (T(X W α H 0 α β(θ=p θ (T(X W α H pro θ Θ ezamítáme O.K. chyba. druhu t = T(x / W α β(θ=p θ (T(X W α H pro θ Θ Volbakritickéhooboru W α seřídípožadavky: ( Chceme, aby pravděpodobost chyby. druhu byla meší ebo rova předem zvoleému malému α (0,(obvyklesevolí α=0.0ebo α=0.05,tj.abyplatilopro θ Θ 0 α 0 =sup θ Θ 0 P θ (T(X W α H 0 α. Prospojitározděleíjevždymožé(ikdyžeutézvolittest,jehožhladiajeprávě rova α. U diskrétích rozděleí jsou možými hladiami testu je ěkteré diskrétí hodoty. Neí-li zvoleá hladia mezi imi, rozhodeme se pro hladiu, která je ejbližší ižší(ebo ejbližší vyšší. ( Mezi testy a hladiě α se pak sažíme zvolit test s co ejmeší pravděpodobostí chyby druhého druhu, tj. co ejsilější test.

63 RNDr. Marie Forbelská, PhD. 63 Vidíme, že postaveí obou hypotéz je esymetrické. Za ulovou hypotézu volíme tu, jejíž eoprávěé zamítutí(chyba. druhu je závažější. Defiice 9.. Chybu, která spočívá v esprávém zamítutí ulové hypotézy, i když je správá, budeme azývat chybou prvého druhu, pravděpodobost α 0 =sup θ Θ 0 P θ (T(X W α H 0 azveme hladiou výzamosti(též hladiou testu. Chybu, která spočívá v esprávém přijetí ulové hypotézy, i když eplatí, budeme azývatchyboudruhéhodruhuajejípravděpodobostpro θ Θ ozačíme β(θ=p θ (T(X W α H. Pravděpodobost β(θazývámesiloutestu(téžsiloukritickéoblasti W α ajakožto fukci θ Θ jitakéazvemesilofukcítestu. 9.. JEDNODUCHÁ HYPOTÉZA A JEDNODUCHÁ ALTERNATIVA. Nejprverozeberemeejjedoduššípřípad,kdy Θ={θ 0, θ }. Vdalšímbudemezačitsymbolem ν σ koečoumírua(r, B (apř.lebesgueova ebo čítací a f(x; θ ezáporou měřitelou fukci, tzv. hustotu pravděpodobosti vzhledem k míře ν. Tedy f(x; θ jsou jak hustoty absolutě spojitých áhodých veliči, tak pravděpodobostí fukce. Budemepředpokládat,žepravděpodobostímíry P θ0 a P θ jsouabsolutěspojitévzhledemkσ-koečémíře ν. Ozačmehustoty p 0(x=f(x; θ 0, p (x=f(x; θ. Lemma 9.(Neymaovo Pearsoovo. Nechť k daému α (0, existuje takové kladé číslo c >0,žepromožiu W 0 = {x R : p (x cp 0 (x} platí p 0 (x dν(x=α. W 0 Pakprolibovoloumožiu W B splňujícípodmíku p 0 (x dν(x α platí p (x dν(x p (x dν(x. W 0 W Důkaz.Projedoduchostpro j =0,místo W 0 p j (x dν(xpišme W 0 p j dν.vzhledem ktomu,žemožiy Wa W 0 lzepsátjakodisjuktísjedoceí,tj. W=(W W 0 (W W 0 a W 0 =(W 0 W (W W 0, W pakplatí p dν W 0 W p dν= = W 0 W W 0 W p dν+ p dν p dν p dν W W 0 W W 0 W W 0 p dν p dν. (4 W W 0

64 64 M4 Pravděpodobost a statistika II Itegračíoborprvíhoitegráluv(4ječástímožiy W 0,takževzhledemkdefiicitéto možiy můžeme ho odhadout zdola. Obdobě itegračí obor druhého itegrálu v(4 eíčástí W 0,takžehomůžemeopětdíkydefiici W 0 odhadoutshora,tj. p dν p dν= p dν p dν W 0 W W 0 W W 0 cp 0 W W 0 / W 0 <cp 0 c p 0 dν c p 0 dν= c p 0 dν p 0 dν 0. W 0 W W 0 W W W 0 =α α Předpokladylemmatupožadují,abykritickéobory W 0 a W mělyzaplatostiulovéhypotéz v prvém případě pravděpodobost α a v druhém případě pravděpodobost ejvýše α.tvrzeílemmatuporováváprodvakritickéobory W 0 a W pravděpodobost,sjakou zamítou ulovou hypotézu, když platí hypotéza alterativí, tj. porovává sílu testu oboukritickýchoborů.prokritickýobor W 0 jesílatestustejáebovětšíežprolibovolý kritickýobor W,tozameá,žekritickýobor W 0 jemezikritickýmioborysdaouhladiou αejsilějšímožý. Pozámka 9.3. Předchozí lemma lze vyslovit takto: Testskritickýmoborem W 0 = {x R : p (x cp 0 (x} (pro c >0určujeejsilější testhypotézy H 0 proti H adaéhladiě α. Příklad 9.4(Jedoduchá hypotéza i alterativa pro áhodý výběr z ormálího rozděleí při zámém rozptylu. Mějme {X,...,X } N(µ, σ,kde σ jezámé.nechť µ 0, µ R.Jetřebaajítkritickýobor W 0 ejsilějšíhotestu Platí X f X (x; µ = H 0 : µ=µ 0 proti H : µ=µ ahladiě α (0,. f Xi (x i ; µ= { πσ e ( x i µ σ = (πσ exp σ } (x i µ. Dálesipřipomeňme,žepoložíme-li X= X i,resp.prorealizace x= x i,pak zaplatostiulovéhypotézy H 0 ( X N µ 0, σ Dále využijeme vztah (x i x = (x i µ ( x µ U X= X E µ0 ( X Dµ0 ( X (x i µ = = X µ 0 σ/ Ozačme p 0 (x=f X (x; µ=µ 0 a p (x=f X (x; µ=µ. N(0,. (5 (x i x +( x µ. (6 Podmíku p (x cp 0 (x lzeapsattakétakto p (x p 0 (x c >0. Počítejme s využitím vztahu(6 p (x p 0 (x =exp { σ [ ( x µ0 ( x µ ]} c.

65 RNDr. Marie Forbelská, PhD. 65 Po zlogaritmováí dostaeme σ [ ( x µ0 ( x µ ] = σ [ x(µ µ 0 (µ µ 0 ] l c (7 (Předpokládejme,že µ 0 < µ. Pak erovost(7 dále upravujme takto x µ +µ 0 + σ l c (µ µ 0 ozačme k p 0 (x p (x Dokážeme ajít takové k, aby platilo P µ0 ( X k =α? β α µ 0 µ W 0 Díky ormalitě výběrového průměru(viz(5 však můžeme počítat a upravovat ( ( X µ0 α=p µ0 ( X k =P µ0 σ/ k µ 0 σ/ = Φ k µ 0 σ/ takže ( k Φ µ 0 σ/ = α u α = k µ 0 σ/ k = µ 0 + σ u α a kritický obor lze vyjádřit takto W 0 = {x R : x k }= { } x R : x µ 0 + σ u α. (Nyípředpokládejme,že µ 0 > µ. p (x p 0 (x Pak erovost(7 dále upravujme takto x µ +µ 0 σ l c (µ 0 µ ozačme k β α µ µ 0 W 0 Díky ormalitě výběrového průměru(viz(5 však můžeme počítat a upravovat ( ( X θ0 α=p µ0 ( X k =P µ0 σ/ k µ 0 σ/ =Φ k µ 0 σ/ takže ( k Φ µ 0 σ/ = α u α = u α = k µ 0 σ/ k = µ 0 σ u α a kritický obor lze vyjádřit takto W 0 = {x R : x k }= { x R : x µ 0 σ u α }.

66 66 M4 Pravděpodobost a statistika II Všiměme si, že při jedoduché hypotéze i alterativě H 0 : µ=µ 0 proti H : µ=µ ahladiě α (0, při ( µ 0 < µ libovolé ( µ 0 > µ libovolé má W 0 stejýtvarezávislýa µ má W 0 stejýtvarezávislýa µ Říkáme,že testjestejoměrěejsilějšívůčivšemalterativámtypu ( µ 0 < µ ( µ 0 > µ. Příklad 9.5. Mějme pro jedoduchost áhodý výběr rozsahu =, tj. jediou áhodou veličiu X z rozděleí s hustotou { θx θ x (0,, f(x; θ= 0 jiak. Najdeme ejsilější test hypotézy H 0 : θ= proti H : θ= adaéhladiě α=0.05. Jetřebaajítkritickýobor W 0 = {x R:p (x cp 0 (x}(pro c >0,přičemž { θ j x θ j x (0,, j=0, p j (x=f(x; θ j = 0 jiak. Podmíku p (x cp 0 (x lzeapsattakétakto p (x p 0 (x c >0,takže p (x p 0 (x =x c x c =k a k určíme z požadavku a hladiu výzamosti, tj. a α=0.05= k p 0 dx= k dx= k k= 0.05=0.95 W 0 = {x R:x 0.95} Všiměme si dále, že pokud bychom zvolili alterativí hypotézu trochu jiak, apř. H : θ=3 p (x p 0 (x =3x3 c x c, 3 =k pak zřejmě dostaeme jiou kritickou oblast, eboť tvar kritické oblasti závisí jak a ulové hypotéze, tak a alterativí. Pozámka9.6. Vsoučasédoběběžýstatistickýsoftware(Statistika,SPSS,S +,SAS udává dosažeou hladiu(v aglicky psaé literatuře P value, sigificace value. Je to ejmešíhladiatestu,přikterébychomještěhypotézu H 0 zamítli.

67 RNDr. Marie Forbelská, PhD JEDNODUCHÁ HYPOTÉZA A SLOŽENÁ ALTERNATIVA. NechťparametrickýprostorΘmáejméě3růzébody,zichžjedeje θ 0.Položme Θ 0 = {θ 0 }.Jetřebaotestovathypotézu H 0 : θ=θ 0 proti H : θ Θ Θ 0. Nejprve si představme, že bychom se sažili ajít pomocí N-P lemmatu ejsilější test hypotézy H 0 protialterativě H : θ=θ Θ Θ 0. Obecějetřebapočítatstím,žekaždýtakovýtodílčítestbudemítjiýkritickýobor. Může se však stát, že kritické obory budou stejé pro všechy zmíěé dílčí testy. Pakjerozumétest H 0 protisložeéalterativě H založitprávěatomtospolečémkritickémoboru.vtomtopřípaděříkáme,žejdeo stejoměrěejsilějšítest H 0 proti H. Pokud však tato situace eastae, vziká otázka, jak postupovat v tomto případě. Zaveďme si proto ejprve pojem zkresleý(vychýleý test. Defiice9.7.Testujmejedoduchouhypotézu H 0 : θ=θ 0 protialterativě H 0 : θ θ 0 azákladěáhodéhovýběrushustotou f(x; θ.nechť W α jekritickýobortestu.řekeme, žetestjezkresleý(vychýleý,jestližeexistujetakováhodotaparametru θ θ 0, pro kterou platí erovost p (xdν < W } α {{} síla testu kde p 0 (x=f(x; θ 0 ap (x=f(x; θ. p 0 (xdν, W } α {{} chyba. druhu Tatopodmíkaříká,žeexistujeparametr θ,prokterýjesílatestumešíežchyba. druhu, tedy pravděpodobost zamítutí správé hypotézy což je aprosto ežádoucí vlastost. > pravděpodobostzamítutí esprávé hypotézy Tedy v případech, kdy ebude existovat rovoměrě ejsilější test, budeme se sažit vytvořit alespoň ezkresleý test. Příklad 9.8(Jedoduchá hypotéza a složeá alterativa pro áhodý výběr z ormálího rozděleí při zámém rozptylu. Mějme {X,...,X } N(µ, σ, kde σ jezámé.nechť µ 0, µ R. Jakjsmejižukázalivpříkladě9.4,kritickýoborjejiýpro µ < µ 0 a µ > µ 0,takže eajdeme kritický obor stejoměrě ejsilějšího testu H 0 : µ=µ 0 proti H : µ µ 0 ahladiě α (0,, proto se budeme sažit ajít kritický obor alespoň ezkresleého testu.

68 68 M4 Pravděpodobost a statistika II (A Zvolíme-li kritický obor typu W α = {x R : x k }= { } x R : x µ 0 + σ u α. Pak silofukce(což je síla testu jakožto fukceparametru θ Θ Θ 0 jetvaru β (θ= β(θ=β (µ= p dν W α Zřejmě platí = P µ,σ ( X k = P µ,σ ( X µ 0 + σ u α ( = P X µ µ,σ σ/ µ 0 µ σ/ + u α ( µ = Φ 0 µ σ/ + u α β (µ 0 =α apro µ < µ 0 jesílatestu <chyba.druhu Silofukce β (µ µ 0 α (B Zvolíme-li kritický obor typu W α = {x R : x k }= { } x R : x µ 0 σ u α Silofukce β (µ α µ 0 Pak silofukce je tvaru β (θ= β(θ=β (µ= p dν W α = P µ,σ ( X k = P µ,σ ( X µ 0 σ u α ( = P X µ µ,σ σ/ µ 0 µ σ/ u α ( µ =Φ 0 µ σ/ u α Zřejmě opět platí β (µ 0 =α apro µ > µ 0 jesílatestu <chyba.druhu. (C Abychom se vyvarovali předchozích obtíží, zvolme yí kritický obor takto { ( } W α ={x R : x / (k, k,kde k < k }= x R : x / µ 0 σ u α, µ 0+ σ u α.

69 RNDr. Marie Forbelská, PhD. 69 Pak silofukce je tvaru β (θ= β(θ=β (µ= p dν W α =P µ,σ ( X k X k = P µ,σ (µ 0 σ u α X µ 0 + σ u α = P µ,σ ( µ 0 µ = Φ σ/ u α X µ +Φ ( µ0 µ σ/ +u α σ/ µ 0 µ σ/ +u α ( µ0 µ σ/ u α Silofukce β (µ Zřejmě platí 0. α β (µ 0 =α µ 0 aeexistuježádé µ µ 0,prokteréjesílatestumešíežchyba.druhu,takžejde o ezkresleý test TESTY PODÍLEM VĚROHODNOSTÍ A TESTY ZALOŽENÉ NA IN- TERVALOVÝCH ODHADECH. Neymaovu-Pearsoovu větu elze bezprostředě aplikovatapřípad,kdymožiyθ 0,Θ ejsouobějedobodové.jejípricipkostrukce kritickéhooborulzevšakpoužítstím,žeamístě p j (x, j=0,,píšeme sup p(x; θ. θ Θ j Dostáváme tedy kritický obor tvaru } W0 {x = R :sup p(x; θ csup p(x; θ. θ Θ θ Θ 0 Pokud c >(cožjepravidlemjeekvivaletě { } W0= x R :sup p(x; θ csup p(x; θ = θ Θ θ Θ 0 { x R : p(x; θ MLE cp(x; θ } 0,MLE, kde θ MLE jemaximálěvěrohodýodhad θ Θa θ 0,MLE jemaximálěvěrohodýodhad zahypotézy H 0. Příklad 9.9(Náhodý výběr z ormálího rozděleí při ezámém rozptylu a oboustraé alterativě. Mějme {X,...,X } N(µ, σ,kde µaσ jsou ezámé parametry. Máme testovat hypotézu H 0 : µ=µ 0 protialterativě H : µ µ 0 ahladiěvýzamosti α (0, Parametr θ=(µ, σ jezdedvourozměrý,možiaθ={(µ, σ :µ R,0 < σ < }. Maximálě věrohodé odhady jsou ( ( θ MLE = X= X i, (X i X a θ0,mle = µ 0, (X i µ 0 Dosadíme-litytoodhadyza θ=(µ, σ dovýrazu p(x; θ= ( { } exp πσ x i µ =(πσ exp { σ σ (x i µ }, dostaemepro W0 erovost ( π (x i x exp { } ( c π (x i µ 0 exp { }, cožje (x i x c (x i µ 0.

70 70 M4 Pravděpodobost a statistika II Dále využijeme vztah (x i x = (x i µ ( x µ 0 (x i µ 0 = (x i x + ( x µ 0, =( s [ ] takže (x i x c (x i x + ( x µ což akoec můžeme vyjádřit takto x µ 0 c (x i x = c s x µ 0 s c. Protoževeličia T = X µ 0 S mázaplatostiulovéhypotézystudetovo t rozděleí o stupích volostí, pak a základě tohoto rozděleí můžeme určit kritickou hodotu c = t α(, eboť α=p (µ0,σ ( T c =P (µ0,σ ( X µ 0 S t α ( ebo ekvivaletě α=p (µ0,σ ( X S t α ( µ 0 X+ S t α ( Hypotézu H 0 : µ=µ 0 tedyzamítámeveprospěchalterativy H : µ µ 0 ahladiě výzamosti α, pokud realizace t = x µ 0 s t α(. Výsledky příkladů 9.4 a 9.9 azačují, že existuje určitý VZTAH MEZI TESTY A INTERVALOVÝMI ODHADY, který lze popsat ásledově. MějmeáhodývýběrX=(X,...,X rozsahu zrozděleí,kterézávisíaparametru θ=(θ,...,θ m Θaparametrickoufukci γ(θ. (AHypotéza H 0 : γ(θ=γ(θ 0 proti(tzv.oboustraéalterativě H : γ(θ γ(θ 0 : Mějmeitervalovýodhad (D (X, H (X parametrickéfukce γ(θospolehlivosti α.pokudplatíulováhypotéza,pak α=p θ (D (X γ(θ 0 H (X, takže kritický obor tohoto testu má tvar: W α = {X R : γ(θ 0 / (D (X, H (X}.

71 RNDr. Marie Forbelská, PhD. 7 Zjistíme-li v kokrétí situaci, že γ(θ 0 / (d (x, h (x tj.realizace x W α, potom buď astal jev, který má pravděpodobost α(volí se blízká ule, ebo eplatí ulová hypotéza. Protožepřiobvyklévolbě α=0.05ebo α=0.0jetetojev praktickyemožý, protoulovouhypotézu H 0 zamítámeveprospěchalterativy H. V opačém případě, tj. pokud ulovouhypotézu H 0 ezamítáme. γ(θ 0 (d (x, h (x tj.realizace x / W α, (BHypotéza H 0 : γ(θ=γ(θ 0 proti(tzv.jedostraéalterativě H : γ(θ > γ(θ 0 : Vtomtopřípaděvyužijemedolíodhad D (X parametrickéfukce γ(θospolehlivosti α.pokudplatíulováhypotéza,pak α=p θ (D (X γ(θ 0, takže kritický obor tohoto testu má tvar: W α = {X R : D (X > γ(θ 0 }. (CHypotéza H 0 : γ(θ=γ(θ 0 proti(tzv.jedostraéalterativě H : γ(θ < γ(θ 0 Vtomtopřípaděvyužijemehoríodhad H (Xparametrickéfukce γ(θospolehlivosti α.pokudplatíulováhypotéza,pak α=p θ (γ(θ 0 H (X, takže kritický obor tohoto testu má tvar: W α = {X R : H (X < γ(θ 0 }. Předchozí úvahy shrňme do ásledující tabulky: Hypotézu H 0 zamítáme,pomocí H 0 H itervaluspolehlivosti kritickéoblasti, tj.pokudx W α,kde W α = γ(θ=γ(θ 0 γ(θ γ(θ 0 γ(θ 0 / (d (x, h (x {X R :γ(θ 0 / (D (X, H (X} γ(θ=γ(θ 0 γ(θ > γ(θ 0 γ(θ 0 < d (x {X R : D (X > γ(θ 0 } γ(θ=γ(θ 0 γ(θ < γ(θ 0 γ(θ 0 > h (x {X R : H (X < γ(θ 0 }

72 7 M4 Pravděpodobost a statistika II 9.4. TESTY O PARAMETRECH NORMÁLNÍHO ROZDĚLENÍ. TESTY ZALOŽENÉ NA CENTRÁLNÍ LIMITNÍ VĚTĚ. Pomocí itervalových(dolích, horích odhadů, které jsme již dříve odvodili v sekci 7, dostáváme celou řadu kritických oblastí testů o parametrech ormálího rozděleí. Pozameejme, že se shodují s testy podílem věrohodostí. Přehled takto získaých testů pro jede áhodý výběr {X,...,X } N(µ, σ podáváme v ásledující tabulce: H 0 H Hypotézu H 0 zamítáme,pokudx W α,tj. Předpoklady µ=µ 0 µ µ 0 X µ 0 σu α σ zámé µ=µ 0 µ > µ 0 ( X µ 0 σu α σ zámé µ=µ 0 µ < µ 0 ( X µ 0 σu α σ zámé µ=µ 0 µ µ 0 X µ 0 S t α ( σ ezámé µ=µ 0 µ > µ 0 ( X µ 0 S t α ( σ ezámé µ=µ 0 µ < µ 0 ( X µ 0 S t α ( σ ezámé ( σ = σ0 σ σ0 / (, χ µezámé ( α σ = σ 0 σ > σ 0 σ = σ 0 σ < σ 0 ( S σ 0 χ α ( S σ 0 ( S σ 0 χ α ( µezámé χ α ( µezámé V případě dvou ezávislých výběrů prví áhodý výběr {X,...,X X } N(µ X, σx (svýběrovýmprůměrem Xa výběrovýrozptylem SX, druhý áhodý výběr {Y,...,Y Y } N(µ Y, σy (svýběrovýmprůměrem Ȳ a výběrovýrozptylem SY, apokudozačíme S XY= ( X S X +( Y S Y X + Y pak ásledující tabulka se týká testů rovosti středích hodot a rozptylů: H 0 H Hypotézu H 0 zamítáme,pokud(x,y W α,tj. Předpoklady µ X = µ Y µ X µ Y X Ȳ u σ α X X + σ Y Y σ zámé µ X = µ Y µ X µ Y X Ȳ t α( X+ Y S X + Y XY σ ezámé σ X = σ Y σ X σ Y S X S Y, X Y / ( F α ( X, Y, F α ( X, Y µ X, µ Y ezámé Následující tabulka abízí asymptotické testy pro áhodé výběry {X,...,X } L(µ(θ, σ (θskoečýmidruhýmimomety(svýběrovýmprůměrem X= X i ase S = S (X,cožje(slaběkozistetíodhadrozptylu σ (θ: H 0 H Hypotézu H 0 zamítáme,pokudx W α,tj. Předpoklady u α 0 < σ (θ < u α {X,...,X } Po(µ µ=µ 0 µ µ 0 X µ 0 S µ=µ 0 µ µ 0 X µ 0 X p=p 0 p p 0 X p 0 p0 ( p 0 u α {X,...,X } A(p

73 RNDr. Marie Forbelská, PhD Vztah mezi pravděpodobostí chyby prvího, druhého druhu a počtem pozorováí. Abychom si uvědomili vztah mezi oběma chybami, ukážeme jedoduchý příklad. Příklad 9.0(Jedoduchá hypotéza i alterativa pro biomické rozděleí. Dva chlapci, Hozík a Fratišek, mají každý svůj pytlík s barevými kuličkami. Hozík má 80bílýcha0modrýchkuliček,Fratišek30bílýcha70modrýchkuliček.Obapytlíkyjsou k erozezáí. Vybereme áhodě jede z pytlíků a chceme rozhodout, kterému z chlapců patří. Za tím účelem provedeme ásledující test: Výchozí test A: Vyberemezpytlíku0kuliček.Pokudmeziimibudeméěež k = 8 bílých kuliček, zamíteme hypotézu, že patří Hozíkovi. Vypočítejme chybu prvího i druhého druhu a pokusme se ajít takový test, který by zajistil, aby chyby prvího i druhého druhu byly vůči chlapcům co ejvíce spravedlivé. Ozačme jako Y áhodou veličiu, která začí počet bílých kuliček mezi deseti vybraými.náhodáveličia Y {0,,..., }, =0.Zřejměmábiomickérozděleí,což pro j=0,začíme {( y θ y j Y Bi(, θ spravděpodobostífukcí p j (x= ( θ j y y=0,...,, 0 jiak. Budeme testovat hypotézu H 0 : θ=θ 0 =0.8protialterativě H : θ=θ =0.3, kdekritickýoborje W α = {0,,..., k }. Spravedlivýtestbudemehledatpomocíprocedury vmatlabusvyužítímpříkazů biocdf(y,,theta p (y(vlevoap 0 (y(vpravo W α opt Bi(0,0.3 Bi(0, Hledáí spravedlivéhotestupro H : θ =0.8 proti H : θ = W =(0,..., 0 α= β=0.978 α W =(0,..., α= β= α W =(0,..., α=0.000 β=0.67 α W =(0,..., 3 α= β= α W =(0,..., 4 α= β=0.503 α W α =(0,..., 5 α=0.038 β= W =(0,..., 6 α=0.09 β=0.006 α W =(0,..., 7 α=0.3 β=0.006 α W =(0,..., 8 α=0.64 β=0.000 α W =(0,..., 9 α=0.896 β= α W =(0,...,0 α=.0000 β= α Chyby β( aα( β W opt =(0,...,5 α opt =0.038 β opt = α Optimálí test B: Pokudmezidesetivybraýmikuličkamibudeméěež k=6bílých, pak zamítáme hypotézu, že pytlík s kuličkami patří Hozíkovi. Teprve yí je pravděpodobost chyby prvího i druhého druhu vyvážeá, srovejme { { 0.3 A A k α= p 0 dν= 0.8 y ( 0.8 y = W α 0 β= p dν= 0.3 y ( 0.3 y = W i=k B { A B α= B { A β= B Tedypravděpodobost,žesevtestuBvyvarujeme chyby.druhu je α=0.967 chyby.druhu je β=0.957.

74 74 M4 Pravděpodobost a statistika II V předchozím příkladě jsme se sažili ajít takový test, aby obě dvě chyby vyhovovaly ašim představám. Nyíseopětvrátímekpříkladu9.8aukážeme,žesílatestujepropevědaouchybu prvého druhu ovlivěa rozsahem výběru. Příklad 9.(Síla testu a rozsah výběru pro jedoduchou hypotézu a složeou alterativu v případě áhodého výběru z ormálího rozděleí při zámém rozptylu. Nechť {X,...,X } N(µ, σ jeormálíáhodývýběr,vekterém je µjeezámýparametraσ >0jezámákostata.Uvažujmetesthypotéz (a H 0 : µ=µ 0 proti H : µ µ 0 (b H 0 : µ=µ 0 proti H : µ < µ 0 (c H 0 : µ=µ 0 proti H : µ > µ 0 V příkladu 9.8 jsme zkostruovali ezkresleý test pro oboustraou alterativu a v příkladu 9.4 stejoměrě ejsilější testy pro jedostraé alterativy. Na ásledujících grafech ukážeme, jak při pevě daé chybě prvého druhu roste hodota silofukce při rostoucím rozsahu výběru. Toho se právě využívá, pokud si předepíšeme obě chyby a hledáme rozsah výběru, při kterém epřekročíme staoveé chyby. X N(µ 0, σ / (asilofukce β (µ= β(iµ 4 µ 0 =5, σ=, =0,0,...,90,00 α=0.05, µ 0 =5, σ=, =0,0,...,90, β α Hustoty výběrových průměrů µ W α = µ { ( 0 x R : x / µ 0 σ u α, µ 0+ σ u α } (bsilofukce β (µ= β(iµ (csilofukce β (µ= β(iµ α=0.05, µ 0 =5, σ=, =0,0,...,90,00 α=0.05, µ 0 =5, σ=, =0,0,...,90, β 0.9 β α { µ 0 } W α = x R : x µ 0 σ u α α µ 0 } {x R : x µ 0 + σ u α W α =

75 RNDr. Marie Forbelská, PhD. 75 Příklad 9.(Výška desetiletých chlapců. V roce 96 byla u 5 áhodě vybraých chlapců z populace všech desetiletých chlapců žijících v Českoslovesku zjištěa výška Výšky 5 desetiletých chlapců Je zámo, že každá ásledující geerace je v průměru o ěco vyšší ež geerace předcházející. Můžeme se tedy ptát, zda průměr x = zjištěý v áhodém výběru rozsahu =5zameá,žea5%hladiěmámezamítout ulovouhypotézu H 0 : µ=36. (zjištěízroku veprospěchalterativíhypotézy H : µ >36.. Rozptyl σ =6.4 cm,zjištěývroce95(kdyseprovádělorozsáhléšetřeí,můžeme považovat za zámý, eboť variabilita výšek zůstává(a rozdíl od středí výšky téměř ezměěá. (ITestováíulovéhypotézypomocípivotovéstatistiky U X akritickéhodoty.protožekritickýobor W 0 lzeekvivaletěvyjádřititakto } W 0 ={x R : x k }= {x R : x µ 0 σ u α = { x R : u x = x µ } 0 σ u α, počítejme u x = =.835.Protože u x =.835překračujekritickouhodotu u α = u 0.95 =.645(získámepomocíMatlabu,atopříkazem ormiv(0.95ulovou hypotézu a 5% hladiě zamíteme ve prospěch alterativí hypotézy, že se středí výška desetiletých hochů zvětšila. (II Testováí ulové hypotézy pomocí p-hodoty iterval spolehlivosti X = prum p val= Dosažeá hladia odpovídající testové statistice (tj. tzv. p-hodota, aglicky P-value, sigificace value, což je ejmeší hladia testu, při které bychom ještě hypotézu H 0 zamítli, je rova (opět získáme pomocí Matlabu příkazem - ormcdf(mea(x,36.,6.4/sqrt(, takžeapříkladpři α=.5%byjiždosažeý výsledek ebyl statisticky výzamý. Protože p-hodota je meší ež zvoleá hladia výzamosti α = 0.05, hypotézu zamítáme. (III Testováí ulové hypotézy pomocí itervalu spolehlivosti D, + Protože jde o jedostraý test, použijeme dolí odhad středí hodoty µ d= x σ u α = =36.45 Protože iterval spolehlivosti 36.45, + epokrývá hodotu 36., proto ulovou hypotézua a hladiě výzamosti α = 0.05 zamítáme.

76 76 M4 Pravděpodobost a statistika II Příklad 9.3(Počet pozorováí při daé chybě prvího a druhého druhu. Mějme {X,...,X } N(µ, σ,kde σ =5jezámé.Chcemetestovathypotézu H 0 : µ=µ 0 =5 proti H : µ=µ =4. Našímúkolemjezjistitrozsahvýběrutak,abychyba.druhubylarova0.05adruhého druhu 0.0. V příkladě 9.4 jsme, ukázali, že kritický obor pro rovoměrě ejsilější test pro alterativu typu µ 0 > µ jetvaru { } W 0 = {x R : x k }= x R : x µ 0 σ u α. Jeli α=0.05,pak u α =.645.Přitétovolběmámezajištěuchybuprvíhodruhu rovou 0.05, tj. ( k P µ0 ( X k =Φ µ 0 σ/ = α=0.05. Nyí musíme zvolit tak, aby pro chybu druhého druhu platilo takže ( P µ ( X > k = Φ k µ σ/ u β = k µ σ/ = µ 0 σ u α µ σ/ β=0.0, = µ 0 µ σ/ u α a odtud již dostaeme, že takže tj. u β + u α = µ 0 µ σ/, = u β +u α µ 0 µ σ= X N(µ, σ / p (x X N(µ 0, σ / p 0 (x = (u β +u α (µ 0 µ σ = =395, kde symbol c začí zaokrouhleí a celé číslo ahoru. Pokud ovšem bychom σ ezali, pak by úloha ešla vyřešit. α β µ =4 k =4.586 µ 0 =5 W 0

77 RNDr. Marie Forbelská, PhD. 77 Příklad 9.4. Párový test X ( x, x pak X H 0 : µ = µ Na sedmi rostliách byl posuzová vliv fugicidího přípravku podle počtu skrv a listech před a týde po použití přípravku. Otestujte, zdali má přípravek vliv a počet skrv a listech. Data udávající počet skrv a listech před a po použití přípravku: Počet skrv a listech předpoužitímpřípravku X popoužitípřípravku X Za předpokladu, že áhodý výběr pochází z ormálího rozděleí, tj. {( ( } ( ( X, X, µ σ,..., N X, X (µ=,σ= ρσ σ, µ ρσ σ σ,kde ρ (0, X N(µ, σ X N(µ, σ, Z = X X N(µ z = µ µ, σ z = σ + σ +ρσ σ a statistika T= Z S Z / = X X S Z / má za platosti ulové hypotézy H 0 : µ µ =0 Studetovo rozděleí o stupích volosti. (I Testováí ulové hypotézy pomocí itervalu spolehlivosti iterval spolehlivosti [ X X t α/ ( S/ ; X X + t α/ ( S/ ]= [4 ± /.6458]= [ ; ] Protože iterval spolehlivosti pokrývá hodotu Z = 0, a daé hladiě výzamosti hypotézu emůžeme zamítout. (II Testováí ulové hypotézy pomocí statistiky T a kritické hodoty T=.736 p val= Vypočítáme-li hodotu statistiky T= X X S/ a porováme s kvatilem Studetova rozděleí, tj. t= x x s/ =.736 t α/( =.4469, takže hypotézu ezamítáme. (III Testováí ulové hypotézy pomocí p-hodoty H 0 : µ µ =0 Vypočítáme-li p-hodotu a porováme se zvoleou hladiou výzamosti α = 0.05 takže hypotézu ezamítáme. p=p( T > t=( P( T t= > α H 0 : µ µ =0 Shreme-li předchozí výsledky slově, pak ulovou hypotézu o tom, že přípravek emá vliv a počet skvr a hladiě výzamosti α = 0.05 emůžeme zamítout oproti alterativě o jeho vlivu.

78 78 M4 Pravděpodobost a statistika II Příklad 9.5(Dva ezávislé áhodé výběry z ormálího rozděleí při ezámých ale stejých rozptylech. Bylo vybráo 3 polí stejé kvality. Na 8 z ich se zkoušel ový způsob hojeí, zbývajících 5 bylo ošetřeo běžým způsobem. Výosy pšeiceuvedeévtuáchahektarjsouozačey X i uovéhoa Y i uběžéhozpůsobuhojeí. (převzato z kihy Aděl, J.: Statistické metody, str. 8, př. 8.. Je třeba zjistit, zda způsob hojeí má vliv a výos pšeice. X i Y i Y X Nechť {X,...,X X } N(µ X, σx jeá- hodývýběrrozsahu X zormálíhorozděleí N(µ X, σx, Xjejehovýběrovýprůměr a SX jehovýběrovýrozptyl. Dále echť {Y,...,Y Y } N(µ Y, σy je áhodývýběrrozsahu Y zormálíhorozděleí N(µ Y, σy, Ȳjejehovýběrovýprůměr a SY jehovýběrovýrozptyl. Předpokládejme, že oba výběry jsou stochastickyezávislé,tj.x Y. Chceme-li testovat hypotézu, že rozdíl středích hodot je ulový(při ezámém rozptylu σ = σx = σ Y,zapivotovoustatistikuzvolímestatistiku T X Ȳ= X Ȳ (µ X µ Y S XY X Y X + Y t( X + Y, kde S XY =( X S X +( Y S Y X + Y Chceme-lipoužít T X Ȳ,mělibychombýtpřesvědčeiotom,žerozptylyobouvýběrůsevýzaměeliší.Budemetedyejprvetestovathypotézu H 0 : σ σ jerovejedéprotialterativě,žeseerová H : σ σ statistiku F= S X S Y σy σx F( X, Y.. =,žepodílobourozptylů. Za pivotovou statistiku zvolíme (a Můžeme apříklad vypočítat statistiku F za platosti ulové hypotézy a porovat ji s příslušými oboustraými kvatily. Protože f=.43 F α F α ( X, Y =0.8 ( X, Y =9.074 vidíme,že feíaivětšíežhorí kritický bod, ai meší ež dolí kritický bod, takže hypotézu o rovosti rozptylů proti alterativě erovosti ezamítáme a můžeme kostatovat, že data ejsou v rozporu s testovaou hypotézou F=.43 p val=

79 RNDr. Marie Forbelská, PhD. 79 (b Další možostí je spočítat dosažeou hladiu výzamosti, tj. p-hodotu(pomocí Matlabu: *mi(-fcdf(var(x/var(y,-,-,fcdf(var(x/var(y,-,- a srovat se zvoleou hladiou testu α: p value= Protože p-hodota je výrazě větší ež zvoleá hladia testu, hypotézu o rovosti rozptylů proti alterativě erovosti ezamítáme. Můžeme také říci, že data ejsou v rozporu s testovaou hypotézou. (c A aposledy můžeme ještě zkostruovat 00( α% iterval spolehlivosti pro podíl rozptylů σ X σ Y S X S Y F α ( X, Y, S X SY F α ( X, Y a zjistit, zda pokrývá hodotu. Protože dostáváme iterval 0.39, 6.088, který pokrývá jedičku, hypotézu ezamítáme. Díky předchozímu zjištěí již můžeme bez obav testovat hypotézu H 0 : µ x µ Y =0 protialterativě H : µ x µ Y 0 aprovedemetoopěttřemizpůsoby: (I Testováí ulové hypotézy pomocí itervalu spolehlivosti X Ȳ t α (ν S X + Y X Y ; X Ȳ+t α(ν S X + Y X Y = ± /.754 = ;.36 Protože iterval spolehlivosti epokrývá ulu, a daé hladiě výzamosti hypotézu zamítáme ve prospěch alterativy. (II Testováí ulové hypotézy pomocí statistiky T a kritické hodoty Vypočítáme-li hodotu statistiky T X Ȳ= X Ȳ (µ X µ Y X Y S XY X + Y a porováme s kvatilem Studetova rozděleí, tj. takže hypotézu T=.3697 zamítáme. p val= (III Testováí ulové hypotézy pomocí p-hodoty t x ȳ =.3697 > t α/ (=.0, H 0 : µ X µ Y =0 Vypočítáme-li p-hodotu a porováme se zvoleou hladiou výzamosti α = 0.05 takže hypotézu zamítáme. p=p( T X Ȳ > t=( P( T X Ȳ t= < α H 0 : µ µ =0 Shreme-li předchozí výsledky slově, pak ulovou hypotézu o tom, že hojeí je stejě účié a hladiě výzamosti α = 0.05 zamítáme ve prospěch alterativy, že má rozdílé účiky..

80 80 M4 Pravděpodobost a statistika II 0. Regresí aalýza 0.. Pojem regrese. Název regrese pochází z prací atropologa a meteorologa Fracise Galtoa, které předložil veřejosti v letech 877 až 885. Galto se zabýval obecými otázkami dědičosti a mimo jié také o vztah mezi výškou otců a jejich prvorozeých syů. Pozorováím a aalýzou údajů došel k rovici, ze které vyplývá, že vysocíotcovésicemajíivysokésyy,alevprůměrujsou větší ež jejich syové, apodoběimalíotcovémajíimalésyy,alevprůměrujsou meší ež jejich syové. Směrice regresí přímky má hodotu meší ež (přibližě kolem 0.5. To zameá, že otcové, kteří jsou apříklado0cmvyšší,ežjeprůměrá výška mužů jejich geerace, mají syy vprůměrujeo5cmvyšší,ežjeprůměrá výška muže v geeraci syů(jde samozřejmě o výšku v dospělosti. Směrice regresí přímky, která číselě charakterizuje velikost této tedece, dostala proto ázev regresí koeficiet. Tuto tedeci ávratu ásledující geerace směrem k průměru azval Galto regresí (původě tomuto jevu říkal reversio, ež později změil a regressio = krok zpět. Současé pojetí regresí aalýzy má sice je málo společého s původím záměrem Galtoa, icméě myšleka přístupu k empirickým datům zůstala zachováa a pojem regrese se atolik vžil, že se používá dodes. 0.. Defiice modelu. Regresí aalýza je velmi široké téma, proto se v této úvodí předášce omezíme je a studium modelu s regresí přímkou, který defiujeme takto: Defiice 0.. Nechť Y,..., Y ( jsouezávisléáhodéveličiy sestředímihodotami EY i = β 0 + β x i,..., ( jsou homoskedastické áhodé veličiy (M tj.majívšechystejýrozptyl DY i = σ,..., kde x,..., x jsouzámékostaty,zichžalespoňdvějsourůzé, β 0, β Rjsouezáméparametry Uvedeý model(m azveme modelem lieárí regrese(s regresí přímkou. Teto model se často vyskytuje v praxi, kdy mezi(eáhodými veličiami x a y existuje lieárízávislost y= β 0 + β x, jejíž parametry však ezáme a iformaci o ich získáváme je experimetálě, tj. tak, že pro zvoleé hodoty x i aměřímeodpovídajícíhodoty y i zatížeéchybouměřeí ε i Naměřeéveličiyjsoutedyrovy Y i = y i + ε i = β 0 + β x i + ε i,...,. Jsou-lichyby ε i ezávislé áhodé bezsystematickésložky, cožvyjádřímepožadavkem Eε i =0 pak dospějeme k uvedeému modelu. měřeéstejěpřesě Dε i = σ