. egresí aalýza Čas ke studu kaptoly: 6 mut Cíl Po prostudováí tohoto odstavce udete umět vysvětlt pojem oecý leárí model prcp leárího regresího modelu používat výsledky regresí aalýzy verfkovat regresí model pomocí deu determace VÝKLAD.. Úvod egrese Pod pojmem regrese rozumíme systematcké změy jeděch velč př změách jých velč a pops těchto změ matematckým fukcem. Sažíme se tedy apozorovaé hodoty vyrovat vhodou matematckou fukcí. Celá výstava regresího modelu ude mít ěkolk fází. Jedá se především o předěžou aalýzu dat výpočet základích charakterstk, grafcký průěh, studum věcých vztahů mez velčam apod. výěr vhodé fukce, zahrující odhad modelu - vola vhodého postupu př odhadu parametrů regresí fukce verfkace modelu Závslost jevů a velč fukčí závslost velčy a velčě X ve tvaru yf, kde hodotám proměé X jsou jedozačě přřazey hodoty pravděpodoostí pojetí - z teore pravděpodoost vyplývá, že dva jevy považujeme za závslé, jestlže astoupeí kteréhokolv z ch ovlvňuje pravděpodoost astoupeí druhého jevu statstcká závslost - systematcký pohy hodot jedé velčy př růstu č poklesu hodot druhé velčy. Jde přtom o stochastcký vztah mez těmto velčam.
Termologe Vysvětlovaá závsle proměá - proměá v regresím modelu, jejíž chováí se sažíme vysvětlt, popsat matematckou křvkou. Tato proměá vystupuje v modelu jako výsledek půsoeí tzv. vysvětlujících proměých. Jedá se tedy o proměou a levé straě regresí fukce a většou j ozačujeme symolem. Vysvětlující ezávsle proměé - proměé v regresím modelu, jejchž chováí vysvětluje chováí závsle proměé. Tyto proměé vystupují v modelu jako příčé proměé, to zameá, že v důsledku jejch změy se měí vysvětlovaá proměá. Jedá se tedy o proměé a pravé straě regresí fukce a většou je ozačujeme symolem X, Z apod. Pozámka: Pojem levá a pravá straa regresí rovce je samozřejmě relatví, jde spíše o zažtou kovec, která se však důsledě dodržuje. Totéž se týká používaého začeí... Oecý leárí model Celá regresí aalýza je založea a oecějším pojmu, zvaém leárí model. Oecým leárím modelem rozumíme model ve tvaru matcový záps X β + e kde je áhodý vektor hodot vysvětlovaé proměé X je matce zadaých hodot vysvětlujících proměých o rozměrech k β je vektor p ezámých parametrů pk e je vektor hodot áhodých chy Předpoklady oecého leárího modelu. Ee pro každé,,, Středí hodota áhodé složky je ulová. Tato podmíka zameá, že áhodá složka epůsoí systematckým způsoem a hodoty vysvětlovaé proměé.. De pro každé,,, ozptyl áhodé složky je kostatí hovoříme o tzv. homoskedastctě. Tato podmíka vyjadřuje, že varalta áhodé složky ezávsí a hodotách vysvětlujících proměých a tudíž podmíěá varalta vysvětlovaé proměé ezávsí a hodotách vysvětlujících proměých a je rova ezámé kladé kostatě. 3. Cov e, e j pro každé j, kde, j,,, Kovarace áhodé složky je ulová. Tedy hodoty áhodé složky jsou ekorelovaé a z toho vyplývá ekorelovaost růzých dvojc pozorováí vysvětlovaé proměé. 4. X je estochastcká eáhodá matce. Zameá to tedy, že vysvětlující proměé jsou eáhodé. 5. Parametry β j, j,,,k mohou aývat lovolých hodot. Na vektor β tedy ejsou kladey žádé omezující podmíky. Pokud udou platt ještě další předpoklady 6 a 7, pak teto leárí model se azývá regresí: 6. Matce X má plou hodost, tedy hxk a dále > k je počet pozorováí. Tato podmíka vyžaduje, ay mez vysvětlujícím proměým eyla fukčí leárí závslost, tedy v matc X esmí estovat leárě závslé sloupce. Počet
vysvětlujících proměých esmí ýt pochoptelě větší ež počet pozorováí a v pra y ýt měl počet pozorováí výrazě větší ež počet vysvětlujících proměých. 7. e mají ormálí rozděleí pravděpodoost pro každé,,,. Z této podmíky vyplývá ormalta pro vysvětlovaou proměou. Náhodý vektor má potom -rozměré ormálí rozděleí s vektorem středích hodot X β a kovaračí matcí I..3. Základí regresí modely Oecá regresí přímka, eo leárí regrese s jedou vysvětlující proměou ejpoužívaější: β + β. + e β pro specálí matc X.. ; β β Kvadratcká regrese: β + β. + β. + e β pro specálí matc X... ; β β β egrese se dvěma ezávslým proměým: β + β. + β. z + e pro specálí matc X. z.. z ; β β β β Neleárí model: f, z, β řeší se většou tak, že se převádí a model leárí. Např. β β z, který lze přepsat do leárího tvaru leárího v parametrech β l l β + l β + z l β
.4. Leárí regrese s jedou vysvětlující proměou Mějme > pozorováí, tedy dvojc ;,,.., β + β. + e Určeí modelu: pomocí metody ejmeších čtverců, tj. z podmíky, ay výraz e β β ϕ yl mmálí. Nalezeí koefcetů: β ϕ β ϕ β β ϕ ;, ozač. parametrů odhady, m, což je tzv. soustava ormálích rovc, kterou vyřešíme: Odhadem očekávaé hodoty E regresí fukce pro lovolé je statstka... + + ê chya mez skutečou a modelovou hodotou tzv. rezduum. Položíme dále ê rezduálí součet čtverců S rezduálí rozptyl. Dá se ukázat, že ásledující statstka ~ S χ tj. má rozděleí chí-kvadrát s - stup volost.
Středí hodoty a rozptyly získaých odhadů, :. E β ; E β ; Eˆ β + β ;. D + ; kde s dále podoě D s s a koečě [ ] D +... + s Pomocí ásledujících statstk provedeme odhady těchto rozptylů: položíme S S ; S S ; S S Sado se přesvědčíme, že jsou to estraé odhady příslušých rozptylů. Testy hypotéz a tervaly spolehlvost Na základě předpokladu ormalty popsovaého regresího modelu lze usoudt, že β ~ N, ; β ~ N, ; β β ~ N, A a základě statstckého chováí rezduálího rozptylu víme, že β β β β ~ t- ; ~ t- ; ~ t- ; S S tj. všechy uvedeé výěrové statstky mají Studetovo rozděleí s - stup volost. Toho lze samozřejmě využít jak pro účely testováí hypotéz, tak pro kostrukc tervalových odhadů. S Dílčí t-testy Dílčí t-testy jsou testy o hodotách jedotlvých parametrů regresí fukce a umožňují ám testovat oprávěost setrváí vysvětlující proměé v regresím modelu. Testujeme postupě pro jedotlvá ulovou hypotézu ve tvaru
H : β pro, prot alteratvě H A : β pro, Pokud se ukáže, že pro kokrétí elze zamítout ulovou hypotézu, je třea zvážt setrváí příslušé vysvětlující proměé v modelu. Pokud y se totž parametr u příslušé proměé eodlšoval výzamě od uly, pak taková proměá do modelu c ového epřáší a je v ěm tudíž zytečě. Nadytečost proměé v modelu y se však měla prokázat podle jých krtérí. Dále je však třea pozameat, že z hledska kvalty výsledých odhadů prováděých a základě regresího modelu je horší varatou případ, kdy proměou, která do modelu patří, chyě vyřadíme testováí hypotéz - chya II. druhu ež případ, kdy proměá do modelu epatří a my j tam chyě poecháme chya I. druhu. Přtom je třea s uvědomt, že pod kotrolou máme pouze pravděpodoost chyy I. druhu, kolv však jž pravděpodoost chyy II. druhu. Závěrem je třea pozameat, že vyřazeí č ové zařazeí proměé do modelu zameá spustt celý proces tvory modelu od začátku a tedy zameá to ový odhad regresích parametrů. Testové statstky pro výše uvedeé dílčí ulové hypotézy jsou odvozeé Studetovy t- statstky s - stup volost: β ~ t- ; S β ~ t- ; S Současá výpočetí techka a především statstcké pakety, jako apř. STATGAPHIC ám umožňují číst výsledky takovýchto testů přímo v podoě výstupích hodot p-value, jak demostruje dále vyřešeý příklad. Řešeý příklad Frma provádí opravy stolích kalkulátorů a poklade. Data zapsáa v taulce pocházejí z 8 ohlášeých oprav. U každé opravy je uvede počet opravovaých kalkulátorů a celková doa opravy v mutách. 3 4 5 6 7 8 9 3 4 5 6 7 8 7 6 5 5 4 7 3 4 8 5 5 7 4 5 97 86 78 75 6 39 53 33 8 65 5 7 5 7 49 68 a Nalezěte odhady koefcetů regresí přímky. Zakreslete data a regresí fukc. c Proveďte dílčí t-testy o hodotách jedotlvých parametrů regresí fukce. Řešeí pomocí programového paketu STATGAPHIC:
Leárí regrese - Doa opravy vs. Počet egresso Aalyss - Lear model: + * ----------------------------------------------------------------------------- Depedet varale: Doa opravy Idepedet varale: Počet ----------------------------------------------------------------------------- Parameter Estmate Stadard Error T Statstc P-Value ------------------------------------------------------------------------------------------- - Itercept -,35,56435 -,95549,3786 - Slope 4,7383,5957 8,3834, ------------------------------------------------------------------------------------------- V kotetu s předchozím odvozeým vztahy je yí ozačeo: Itercept, Slope, oě hodoty uvedey ve druhém sloupc. Ve třetím sloupc jsou pak uvedey pozorovaé hodoty S, S. Následující fukce představuje rovc pro odhad očekávaé hodoty doy opravy: Doa opravy -,35 + 4,7383. Počet Pozorovaé hodoty testových statstk pro dílčí t-testy jsou uvedey v předposledím sloupc T Statstc, příslušé hodoty p-value jsou pak v posledím sloupc. Z výsledku je patré, že hypotézu H : β ezamíteme s ohledem a výzamou hodotu v příslušém sloupc p-value. Na základě toho můžeme prohlást, že regresí přímka prochází počátkem, což je logcký závěr s ohledem a povahu dat. Druhý z dílčích testů ám říká, že směrce přímky Slope je hodota, která se výzamě lší od uly, eoť jsme zamítl hypotézu H : β. egrese doy opravy Doa opravy 8 6 4 4 6 8 Pocet
Iterval spolehlvost pro očekávaou hodotu E Bodovým odhadem očekávaé hodoty pro zadaou hodotu, tedy E β + β, je statstka + + Př hledáí tervalového odhadu pro E udeme vycházet zejméa z výše odvozeé t-statstky: β β ~ t-. S Z í a a základě ěžého postupu, aplkovaého př hledáí tervalového odhadu, můžeme získat sado ásledující tervalový odhad pro E, se spolehlvostí α: E β + β < S t, + S t > α α Tyto tervalové meze pro spojtě se měící hodoty tvoří tzv. pás spolehlvost kolem regresí přímky. Šířka tohoto pásu je závslá a hodotě S. V ěkterých aplkacích se můžeme setkat s otázkou, pro kterou volu je pás spolehlvost ejužší, a tudíž také terval spolehlvost pro očekávaou hodotu E ejpřesější? Teto prolém lze zodpovědět alezeím takového opt, které mmalzuje S : S S S + s opt Vdíme, že pás má ejmeší šířku pro opt, a př změě ať už k větším č meším hodotám šířka pásu mootóě roste. Šířku pásu lze do určté míry předem ovlvt vhodou volou odů,...,. Řešeý příklad pokračováí d Nalezěte 95% pás spolehlvost kolem regresí přímky pro dou opravy v závslost a počtu kalkulátorů e Nalezěte odový a tervalový odhad pro očekávaou dou opravy pět kalkulátorů.
Řešeí egrese doy opravy Doa opravy 8 6 4 4 6 8 Pocet Pro 5 dostáváme: + +. 7 369 E β + β < S t, + S t > < 69. 63, 73. 675 > Ide determace α Slouží pro účely verfkace správost zvoleého regresího modelu. Př aplkac metody ejmeších čtverců platí vztah +, kde ê je celkový součet čtverců, je součet čtverců modelu a α je rezduálí součet čtverců. U součtu čtverců modelu y se ve vzorc místo průměru z apozorovaých hodot měl spíše ojevt průměr z hodot odhadutých. Př aplkac metody ejmeších čtverců se však dá odvodt, že tyto průměry jsou stejé, lze tedy psát ˆ Je zřejmé, že čím je model lepší, tím větších hodot ude aývat součet čtverců modelu a rezduálí součet čtverců ude meší. Naopak špatý model zameá velkou hodotu rezduálího součtu čtverců ve srováí se součtem čtverců modelu. Celou rovost můžeme vydělt celkovým součtem čtverců a převést tak a tvar
+ Oa zlomky jsou kladé, jejch součet je rove jedčce, tedy utě musí ýt hodota oou zlomků mez ulou a jedčkou. Pro příslušé zlomky platí yí aalogcká úvaha jako pro samoté součty čtverců. Bude-l model doře vysthovat závslost vysvětlovaé proměé a pravé straě rovce tedy a vysvětlujících proměých, poroste hodota prvího zlomku v rovost k jedčce a druhý zlomek se ude lížt k ule. Bude-l model popsovat uvažovaou závslost špatě, ude tomu aopak. Je tedy logcké vzít prví zlomek jako krtérum kvalty regresího modelu. Položíme tedy I a azveme jej deem determace. Ide determace tedy udává kvaltu regresího modelu, přesěj řečeo udává, kolk procet rozptylu vysvětlovaé proměé je vysvětleo modelem a kolk zůstalo evysvětleo; aývá hodot od uly do jedé teoretcky včetě těchto krajích mezí, přčemž hodoty lízké ule začí špatou kvaltu regresího modelu; hodoty lízké jedé začí dorou kvaltu regresího modelu; udává se většou v procetech. Řešeí + Řešeý příklad pokračováí f Posuďte kvaltu vyšetřeého modelu leárí regrese pro dou opravy v závslost a počtu kalkulátorů pomocí deu determace. ----------------------------------------------------------------------------- Zdroj Součty čtverců ----------------------------------------------------------------------------- Model 68,6 esduálí 3,396 ----------------------------------------------------------------------------- Celkový 654, I 98. 56 % Pozámka V případě leárí regrese s více vysvětlujícím proměým má však de determace jedu epříjemou vlastost, která částečě sžuje jeho kvaltu. Závsí totž a počtu vysvětlujících proměých a s růstem jejch počtu arůstá jeho hodota. Proto se častěj ež
samotý de determace používá tzv. modfkovaý de determace, který je pealzovaý za adytečý počet vysvětlujících proměých. Má tvar I I M I p p kde p je počet odhadovaých parametrů v modelu. Jeho hodota je tedy vždy epatrě meší ež hodota deu emodfkovaého. Shrutí pojmů egresí model je specálí případ oecého leárího modelu. Základím předpoklady jsou ulovost středí hodoty chy, dále pak homoskedastcta a předpoklad ormalty rozděleí chy. Vysvětlovaá závsle proměá je proměá v regresím modelu, která je áhodá a jejíž chováí se sažíme vysvětlt, popsat matematckou křvkou. Vysvětlující ezávsle proměé jsou proměé v regresím modelu, jejchž chováí vysvětluje chováí závsle proměé. Leárí regresí model s jedou vysvětlující proměou je základím modelem a je založe a metodě ejmeších čtverců. Z í lze odvodt parametry tohoto modelu s velm přízvým statstckým vlastostm. Součet čtverců odchylek skutečých od modelových hodot se azývá rezduálí součet čtverců. Dílčí t-testy jsou testy o hodotách jedotlvých parametrů regresí fukce a umožňují ám testovat oprávěost setrváí vysvětlující proměé v regresím modelu. Na základě přízvých statstckých vlastostí odhadovaých parametrů modelu můžeme získat sado tervalový odhad pro očekávaou hodotu vysvětlovaé proměé E, se spolehlvostí α. Tyto tervalové meze pro spojtě se měící hodoty tvoří tzv. pás spolehlvost kolem regresí přímky. Šířka tohoto pásu je ejmeší pro výěrový průměr: opt. Ide determace slouží pro účely verfkace správost zvoleého regresího modelu Úlohy k řešeí Př. : Př kotrolích měřeích rozměrů slkátových štítových dílců ylo áhodě vyráo 8 dílců vykazujících vesměs kladé odchylky v délce výšce od ormovaých hodot: odchylka délky [mm] odchylka výšky [mm] 3 4 4 5 8 6 3 4 6 5 6 7 3 9 4 Najděte leárí regresí model závslost odchylky výšky a odchylce délky.
Př. : V letech 93-96 yly měřey průtoky v proflu ádrže Šace a Ostravc a v proflu ádrže Morávka a Morávce. očí průměry v m 3 /s jsou dáy v ásledující taulce: rok Šace Moráv ka rok Šace Moráv ka 93 4,3,476 946,68,374 93,386,35 947,45,94 933,576,38 948 3,543,799 934,466,75 949 4,55,4 935 3,576,8 95,4,9 936,8,93 95,74,55 937 3,863,354 95 3,79,99 938 3,76,68 953 3,87,488 939 3,7,534 954,677,83 94 4,49,38 955,86,878 94 4,466,57 956 3,8,4 94,584,76 957,59,65 943,38,63 958 3,656,87 944 3,7,8 959,447,38 945 3,9,43 96,77,679 Předpokládejte, že v jedom z ásledujících let chyí hodota průměrého ročího průtoku pro ádrž Morávka. V tomto roce čl průměrý ročí průtok v proflu ádrže Šace a Ostravc,9 m 3 /s. Na základě leárí regrese odhaděte hodotu průměrého ročího průtoku ádrže Morávka.