12. Regrese Teoretické základy

Transkript

1 Regese Jedím z hlavích úolů matematicé statistiy je hledáí a studium závislostí mezi dvěma či více oměými Závisle oměá se zavidla ozačuje Y a ezávisle oměé X,, X i,i Závislosti mezi Y a suiou oměých X mohou být fučí ebo statisticé V říadě římé fučí závislosti je áhodá část ve vyjádřeí této závislosti ulová, oto se jí ebudeme samozřejmě zabývat V běžých situacích vša astává situace, dy Y má ovahu áhodé veličiy Nezávisle oměé X,, X i mohou být eáhodými ( evými ) veličiami ebo áhodými veličiami tatisticou závislostí mezi áhodou veličiou Y a veličiami X,, X i ozumíme ředis, teý aždé usořádaé i tici x,, x i řiřazuje ávě jedo odmíěé ozděleí áhodé veličiy Y Náhodá veličia Y je tedy statisticy závislá a veličiách X,, X i, jestliže změy v hodotách x,, x i mají za áslede změu odmíěého ozděleí áhodé veličiy Y Teoeticé zálady V axi eí většiou záo ozděleí ( ty áhodé veličiy Y ) zám Máme většiou disozici ouze data ve fomě usořádaých i+ tic, de vích i slože odovídá hodotám x a osledí složa odovídá hodotě y Na záladě exeimetálích údajů se ovede výbě fuce, teá má co ejlée vystihovat ozložeí sutečých údajů, tuto fuci azýváme teoeticou egesí fucí a je uváděa ve tvau y f ( x,, xi;,, ) (), de hodoty,, jsou azýváy teoeticými egesími aamety ( oeficiety ) Tyto aamety mají ovahu ostat, teé ejsou zámy V modelovaých vztazích je budeme ahazovat jejich bodovými odhady a,, a ta, aby fuce Y f( x,, xi; a,, a) () co ejlée aoximovala aměřeé hodoty Y Fuce () se azývá emiicou egesí fucí a veličiy a,, a emiicými egesími aamety Emiicé egesí aamety jsou áhodé veličiy Jedou z metod ja je učit je oužít metodu ejmeších čtveců V dalším textu bude dále závisle oměá Y ( vysvětlovaá oměá ) áhodou veličiou, aoa ezávisle oměé ( vysvětlující oměé ) X,, X i jsou eáhodými veličiami Regesí závislostí bude o aše otřeby jedostaá závislost daé áhodé veličiy ( ař Y ) a jié veličiě e utě áhodé veličiě ( ař X,, X i ) Po další účely tříděí a studováí egesích závislostí se ozlišují ásledující situace: a Náhodá veličia závisí a jedé další veličiě áová egese Nařílad : y x+ x + 3 b Náhodá veličia závisí a dvou a více veličiách mohoásobá egese x Nařílad : y x x3 Z ohledu tvau fuce () můžeme dále dělit jedotlivé říady egesích závislostí a: Lieáí egesi uvažovaá fuce f je lieáí vzhledem aametům,, Nařílad : y x+ x +

2 Nelieáí egesi uvažovaá fuce f je elieáí fucí vzhledem aametům,, x+ x Nařílad : y 3 x3 + 4 x4 Regesí aalýzou azveme tedy tu část matematicé statistiy, teá se zabývá studiem a ostucí egese Nejdříve učíme odmíy egesího modelu Defiice Učujeme egesi Y a i eáhodých veličiách x,, x i Nechť je dále dáo ( > + ) usořádaých i+ tic ( x,, xi y), de,, Tyto údaje byly ostuě zísáy emiicy Na záladě těchto údajů byla zvolea teoeticá egesí fuce s ezámými aamety,, Dále ředoládejme, že o áhodé veličiy Y,,, latí: Y f ( x,, xi;,, ) + e () Veličiy e ředstavují áhodé chyby měřeí a jsou zřejmě taé áhodými veličiami Tyto áhodé veličiy musí slňovat ásledující odmíy: E( e ) (3) 3 Va( e ) s (4) 4 cov( e, e l ) (5) Dále latí 5 E(Y ) f ( x,, xi;,, ) 6 VAR(Y ) s K řešeí výše osaého modelu oužíváme ejčastěji metodu ejmeších čtveců oučástí řešeí je alezeí odhadů aametů,, Tyto odhady budeme dále ozačovat symboly c,, c Metoda sočívá v alezeí miima čtveců hodot e Obecěji budeme studovat tuto metodu aliovaou a říad lieáí egese Hledáme tedy miimum fuce ( ) (,, ) (,, ;,, ) e Y f x x, (6) i ožadujeme tedy, aby součet čtveců odchyle aměřeých hodot Y od teoeticých hodot f ( x,, xi;,, ) byl miimálí Najdeme tedy ejdříve odezřelé body ( stacioáí body ) : (,, ),,, (7) Poté ověříme omocí lasicých metod, zda v alezeých bodech se achází miimum oustava ovic (6) se azývá soustavou omálích ovic Řešeí této soustavy je jedozačé, jestliže alesoň + z usořádaých tic [ x,, x i],,, je avzájem ůzých Řešeím soustavy (6) budou otom hodoty a,, a, teé budou bodovým odhadem aametů,, Odtud tedy zísáme bodové odhady teoeticé egesí fuce () ve tvau Yˆ f ( x, xi; a, a),,, Rozdíly e ˆ ˆ Y Y (8) se azývají ezidui a veličia

3 ˆ ˆ ( ) (9) e Y Y se azývá eziduálím součtem čtveců tudiem řešeí soustavy omálích ovic a eziduálího součtu čtveců se budeme zabývat dále v ásledujících částech této aitoly a v aitole ásledující Model lieáí egese V této části se budeme zabývat ejjedodušším říadem lieáí egese říadem, dy odhadujeme je dva aamety a a b Taovýto seciálí vztah ozačujeme jao egesí římu a je vyjádře Y a + bx +e () K odvozeí bodových odhadů sutečých aametů a a b oužijeme lasicou metodu ejmeších čtveců Bodové odhady ozačíme o aše otřeby a a b Tedy odle (6) je ( ) a, b e ( Y a bx ) () Teto výaz budeme deivovat odle oměých a, b Výsledá soustava omálích ovic je otom ásledující ( a, b) ( Y a bx ) () a ( a, b) ( Y a bx ) (3) b Přeíšeme li tuto soustavu lasicým zůsobem máme: + a + b x Y,, (4) a x b x x Y Z této soustavy vylývá, že řešeí existuje, je li detemiat soustavy ůzý od uly Tedy, ale teto vztah astae, jestliže hodoty x budou avzájem ůzé ( stačí dooce, aby asoň dva byly avzájem ůzé ) oustava tedy bude mít ávě jedo řešeí Nejve uavíme ví ovici v (4) tím, že ji vydělíme hodotou, zísáme ta a+ bx Y (5) Budeme li zát jedu z hodot a, b omocí tohoto vztahu doočteme duhou Učíme hodotu b, dosazeím (5) do duhého vztahu v (4) ( ) Y bx x + b x x Y b x x xy xy b x Y xy x (6)

4 Ze vztahů (5) a (6) učíme samozřejmě hodoty a, b Přílad V 5 za sebou ásledujících dech byla zazameáa hodota elativí vlhosti v % a hodota ooseí v mm 3 Naměřeé údaje jsou uvedey v tabulce dále Relativí vlhost Hodota ooseí Povedeme li výočet zísáme ásledující hodoty a -,5 a hodota b,3 Výslede můžeme taé zobazit gaficy Hodota ooseí teoeticá hodota Z výše uvedeého gafu je ato, že žádá ze sutečých aměřeých hodot Y a římce eleží, řesto vša je vyjádřeí vztahu mezi x a Y omocí lieáího vztahu dobé Podle ředoladů lieáího modelu ředoládáme, že středí hodota chyb e je ova ule, jejich oztyl je ostatí a ove s Dále ředoládáme, že hodoty Y ( tzv vysvětlovaé oměé ) jsou tyu omálí ozděleí Odtud tedy vylývá, že E( Y) α + β a dále VAR ( Y ) Celově tedy Y N( α + β, ) Budeme dále vyšetřovat vlastosti bodových odhadů aametů a a b Tedy xy xy ( x) E( Y) ( x) ( α + β ) Eb ( ) E x x x

5 α ( x) + β ( x) x β β x x Potože je E(b) b, je odle defiice z aitoly teto odhad evychýleý Zjistíme dále hodotu oztylu tohoto odhadu Y x Y ( x) VAR ( Y) ( x) VAR( b) VAR x x x x (7) x Při výočtu jsme využili ásledující ovost ( x) x (8) Podobě yí zjistíme středí hodotu a oztyl o odhad a Y α + β Ea ( ) E bx xeb ( ) α + β x x β α, tedy i bodový odhad aametu a je evychýleý Roztyl hodoty a je ove VAR( Y ) x ( ) ( ) x x VAR( a) + x VAR b + Závěem můžeme tedy ostatovat, že áhodé veličiy a a b jsou tyu omálí ozděleí ( jsou lieáí ombiací ezávislých áhodých veliči tyu omálího ozděleí ) a můžeme avíc učit jejich aamety tedy a N α, a dále b Nβ, x x Tyto dva vztahy budou líčové o další učeí itevalových odhadů sutečých aametů a a b Věta 3 Nechť je eziduálí součet čtveců defiovaý vztahem (6) Potom Důaz: Povede ařílad v [] χ

6 Pozáma 4 Výše uvedeý důaz budeme motivovat ásledující úvahou: Náhodé veličiy Y jsou ezávislé, jsou dále omálího tyu Poud je zomujeme máme Y E( Y) Y α β (9) VAR ( Y ) Poto tedy Y α β x χ Potože ale ahadíme sutečé hodoty a a b jejich evychýleými odhady a a b, síží se očet stuňů volosti o tedy o očet aametů, teé jsme odhadovali Po další áci ozačme ( )( ) () x x Y Y x Y xy xy ( ) () x x x x ( ) () Y Y Y Y YY Jestliže oužijeme tuto otaci můžeme oeficiety a a b zasat taé tato xy b ; a Y bx Dále odvodíme ásledující výočetí idetitu : YY xy (3) xy xy ( ) + ( Y Y) xy ( x) YY xy xy + xy Y a bx Y Y x x YY xy Ze všech výše uvedeých ovostí vylývají ásledující tvzeí: χ (4) ( b β ) ( ) ( b β ) t (5) ( )

7 ( ) 3 x ( a α ) t (6) Toto jsou záladí vztahy, omocí ichž je možo ostuovat ja itevalové odhady ezámých aametů a a b, ale i ezámé hodoty s Dále jsou a ich založey lasicé statisticé hyotézy o těchto aametech Často jsme ostavei řed otázu alezeí odhadu ( ogózy ) hodot v ějaém bodě x, a záladě zalosti vstuích dat {x, Y } Podle zůsobu aší ostuce je zřejmé, že řiozeým bodovým odhadem je v tomto říadě hodota a + bx ( je oět evychýleým odhadem sutečé ezámé hodoty doažte! ) Podobě jao v ředchozích ocích ás bude ředevším zajímat ty áhodé veličiy ( ) ( ) Y Y x x x x a+ bx Y ( x x) ( x x ) (7) Z ředchozího vztahu (5) vylývá ( oč? ), že áhodá veličia a + bx je tyu omálí ozděleí Je tedy uto zjisti jeho středí hodotu a oztyl A ( ) E a+ bx E( a) + x E( b) α + β x B ( ) ( ) x ( ) ( ) ( ) ( ) x x x x x x x x x VAR( a + b x ) VAR( Y ) Z těchto ovostí tedy vylývá, že a+ bx N + x, + ( ) ( ) ( x) x x x ( x x ) ( x x ) ( x x) α β (8) Po itevalový odhad sutečých hodot využijeme vztahů (4) a (8) Z těchto vztahů vylývá a+ bx α β x ( ) x x + ( ) t (9)

8 Pomocí tohoto vztahu je možo odhadovat chováí a + bx v daém bodě x ( odhadujeme chováí aametů!) Na duhou stau je ědy důležité vyšetřit chováí hodoty Y v oétím bodě x V tomto říadě staovujeme budoucí hodotu áhodé veličiy Y Oět latí ám zámé vztahy v bodě x ( α + β, ) Y N x (3) a vztah (9) Z ich můžeme staovit ozděleí ásledujícího ozdílu Y a bx N, + + ( x x) ebo evivaletě Y a bx (,) N (3) + ( x x + ) Využijeme li dále vztahu (4) zísáváme Y a bx ( ) + x x + ( ) t (3) Teto vztah je ozhodující o staoveí odhadu budoucí hodoty Y v bodě x