1 Tyto materiály byly vytvořeny za pomoci grantu FRVŠ číslo 1145/2004.

Transkript

1 Vícenásobná regresní a korelační analýza 1 1 Tto materiál bl vtvořen za pomoci grantu FRVŠ číslo 1145/2004.

2 O vícenásobné závislosti mluvíme tehd, jestliže je závisle proměnná závislá na více nezávislých proměnných 1, 2,..., p. Řada pojmů a metod je analogická jako při prosté regresní analýze. Rozdíl je pouze v určitém zevšeobecnění na více proměnných. Rozeznáváme pojm jako mnohonásobná závislost, mnohonásobná nezávislost, korelační závislost, korelační nezávislost. Vsvětleme tto pojm. Mnohonásobnou závislostí rozumíme, závislost, kd dochází se změnou nezávisle proměnných ke změně podmíněného rozdělení závisle proměnné. Mnohonásobnou nezávislostí je pak takový stav mezi proměnnými, kd se změnou hodnot nezávisle proměnných nedochází ke změně podmíněného rozdělení četností závisle proměnné. Za korelační závislost označíme takový stav, kd se změnou hodnot nezávisle proměnných dochází ke změně podmíněných průměrů závisle proměnné. Korelační nezávislostí naopak rozumíme takový stav, kd se změnou nezávisle proměnných nedochází ke změně podmíněných průměrů závisle proměnné. Nejjednodušším případem vícenásobné závislosti je trojnásobná lineární regrese. Ta je vjádřená rovnicí rovin v trojrozměrném euklidovském prostoru, ted ŷ = b 0 + b 1 + b 2. Odhad jednotlivých regresních koeficientů, zde se přesněji nazývají parciální regresní koeficient. Lze je získat opět prostřednictvím metod nejmenších čtverců. Při výkladu vužijeme maticovou smboliku. Usnadní nám to náš postup a umožní nám to odvodit obecný postup, kterým můžeme odhadovat i regresní koeficient u nelineárních funkcí v proměnných 1 : S = n ( i ŷ i ) 2 min (1) i=1 Dále předpokládejme, že ŷ i = b 0 +b 1 f 1 +b 2 f 2 + +b p f p, kde smbol (regersor - nezávisle proměnné) f i, i = 1, 2,..., p představují libovolné známé funkce vsvětlujících proměnných. Speciálním případem jsou model tpu: ŷ = b 0 + b b b p p, (2) kde jsou regresor přímo vsvětlující proměnné (f i = i ), tj. model lineární z hlediska parametrů i z hlediska vsvětlujících proměnných. Model můžeme zapsat pro všech n pozorování pomocí maticové smbolik následovně: ŷ = F b (3) 1 ne však odhadovat regresní koeficient u funkcí nelineárních v parametrech. Řešením těchto úloh se zabývat nebudeme. 1

3 kde: Vektor b T ted: 1 f 11 f 1p 1 f 21 f 2p F = , (4) 1 f n1 f np pak představuje vektor hledaných regresních regresních koeficientů, b = b 0 b 1 b 2.. (5) Pokud hodláme minimalizovat funkci S, pak musíme tuto funkci derivovat a takto upravenou funkci položit rovno nule. Tím je splněn nutný předpoklad. Odhad jednotlivých složek vektoru b tj. odhad skutečných regresních koeficientů β i, i = 1, 2,, p získáme takto: S = n i=1 ( i ŷ i ) 2 = ( ŷ) 2 = ɛ T ɛ = ( Fb) T ( Fb) = T T Fb (Fb) T + (Fb) T Fb = T 2(Fb) T + b T F T Fb Vzhledem k tomu, že se snažíme o minimalizaci celkového součtu čtverců reziduí, budeme derivovat funkci S dle vektoru regresních koeficientů a řešit následující rovnici: S b = 2FT + 2F T Fb = 0 Lze ted psát 2F T Fb = 2F T (F T F) I b = (F T F) I F T, kde smbol b je vektorem odhadnutých regresních parametrů. b p Galileův pokus aneb jednoduchý příklad regresní analýz na závěr? Galileo se zabýval studiem pohbu tělesa. K tomuto studiu si sestrojil jednoduché zařízení. Na stůl umístnil nakloněnou rovinu s drážkou. Pokus spočíval v opakovaném vpouštění bronzové koule v jisté výšce, označme tuto výšku jako a měřil vzdálenost dopadu stříbrné koule od hran stolu. Výška stolu Galileova stolu činila 500 punti. Galileo naměřil tato data [punti 2 ]: [1,] [2,] 200 [3,] 300 [4,] Jedno punti je rovno 169/180 mm 2

4 [5,] 600 [6,] 800 [7,] 1000 Pokusíme se proložit Galileova data prostým regresním modelem, ted přímkou. Uvažujme nejprve přímku procházející počátkem soustav souřadnic. Uvažujme ted model i = β 1 i + ε i (6) Pomocí metod nejmenších čtverců odhadneme regresní koeficient β 1. Pomocí softwarového prostředí R získáme tto výsledk: Call: lm(formula = ~ - 1) Residuals: Min 1Q Median 3Q Ma Coefficients: Estimate Std. Error t value Pr(> t ) *** --- Signif. codes: 0 *** ** 0.01 * Residual standard error: on 6 degrees of freedom Multiple R-Squared: , Adjusted R-squared: F-statistic: on 1 and 6 DF, p-value: Pokud regresní rovnici znázorníme získáme tento výstup Obrázek 1: Prostá lineární regrese bez absolutního členu

5 Vidíme, že regresní rovnice nevstihuje dobře empirická data. Inde determinace činí pouze 87,87 % a reziduální součet čtverců činí ,16. Přistoupíme proto k jinému regresnímu modelu který zahrnuje i absolutní člen tj. vužijeme modelu i = β 0 + β 1 i + ε i (7) Výsledk regresní analýz pro druhý model Call: lm(formula = ~ ) Residuals: Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) *** *** --- Signif. codes: 0 *** ** 0.01 * Residual standard error: on 5 degrees of freedom Multiple R-Squared: , Adjusted R-squared: F-statistic: on 1 and 5 DF, p-value: Obrázek 2: Prostá lineární regrese s absolutním členem

6 Vidíme, že ani tato regresní funkce nepopisuje data příliš dobře, třebaže inde determinace činí 92,64 % a došlo k dosti podstatnému snížení hodnot reziduálního součtu čtverců. Jeho hodnota činí 5671,712. Přistoupíme k dalšímu regresnímu modelu. Vzhledem k hodnotám b mohl být adekvátním modelem kvadratický regresní model ŷ i = β 0 + β 1 i + β 2 2 i + ε i (8) Výsledk regresní analýz pro kvadratický regresní model Call: lm(formula = ~ + I(^2)) Residuals: Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) 1.999e e *** 7.083e e *** I(^2) e e ** --- Signif. codes: 0 *** ** 0.01 * Residual standard error: on 4 degrees of freedom Multiple R-Squared: , Adjusted R-squared: F-statistic: 205 on 2 and 4 DF, p-value: 9.333e-05 Z grafu kvadratické regresní funkce vidíme, že kvadratická funkce s regresními parametr výborně vstihuje Galileova data. Inde determinace dosáhl dokonce hodnot 98,55 %, což znamená, že náš model vsvětluje 98,55 % rozptýlenosti naměřených vodorovných vzdáleností. Reziduální součet čtverců činí 744,1984. Tento výsledek lze považovat za velmi dobrý. Všiměte si, že jsou signifikantní všechn regresní koeficient a to dokonce na hladině α = 0.01 Pokusme se přidat ještě kubický člen. Bude popisovat odhadnutá regresní funkce data lépe? Model obecně zapíšeme takto: i = β 0 + β 1 i + β 2 2 i + β 3 3 i + ε i. (9) Výsledk regresní analýz pro případ polnomu třetího stupně jsou uveden níže. Všiměte si, že i kubický člen je statistick významný: Call: lm(formula = ~ + I(^2) + I(^3)) Residuals:

7 Obrázek 3: Kvadratická regrese funkce s absolutním členem Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) 1.558e e *** 1.115e e *** I(^2) e e ** I(^3) 5.477e e ** --- Signif. codes: 0 *** ** 0.01 * Residual standard error: on 3 degrees of freedom Multiple R-Squared: , Adjusted R-squared: F-statistic: 1595 on 3 and 3 DF, p-value: 2.662e-05 Z výsledků je patrné, že je tento model ještě lepším než předchozí kvadratický. Inde determinace činí 99,94 %, reziduální součet čtverců činí = Prostě paráda co více si přát. Pro úplnost znázorníme ještě průběh funkce spolu s empirickými dat. Jistě bchom bli spokojeni. Reziduální suma čtverců je relativně malá, inde determinace činí 99,94 %. Spokojeni však být nemůžeme, neboť je to celé úplně špatně!! Proč? Jistě jste si všimli(viz obrázek 4), že graf průběhu polnomické regrese vkazuje ve své horní části inflei, která z hlediska přírodních zákonů, fzik 6

8 Obrázek 4: Funkce polnomické regrese 3 stupně s absolutním členem nemá opodstatnění. Model je ted zcela chbný. Z fzikálního hlediska b bla jediným správným modelem funkce popisující zákon pohbu po nakloněné rovině a šikmého vrhu mající tvar: i = 2 i sin2 α + 4d i cos 2 α i sin2α (10) Smbol α představuje úhel nakloněné rovin po které bla vpouštěna koule, smbol d pak výšku stolu. Pokusme se ted dospět k výsledku jinou cestou. Víme, že Galileův stůl měl výšku 500 punti, po dosazení se správná regresní rovnice (10) zjednoduší: i = 2 i sin2 α i cos 2 α i sin2α. (11) Pomocí software R a při vužití Gauss-Newtonova algoritmu se pokusíme získat odhad neznámého parametru α. Ten představuje, jak jistě víte úhel, který svírala nakloněná rovina s deskou stolu. Řešení je ted následující: nls(~sqrt(^2*(sin(2*a))^2+4*500**(cos(a))^2)-*sin(2*a), start=c(a=0.5203),trace=true) : : : :

9 : Nonlinear regression model model: ~ sqrt(^2 * (sin(2 * a))^2 + 4 * 500 * * (cos(a))^2) - * sin(2 * a) data: parent.frame() a residual sum-of-squares: Řešením jsme získali odhad ˆα = 0, , tj. = 35, 3. Dále můžeme odečíst reziduální sumu čtverců, dosahuje hodnot 2485,263. I kdž je to dobře, můžete si všimnout toho, že jsme v případě správného regresního modelu obdrželi větší reziduální součet čtverců, než v předchozích evidentně chbných modelech! Graf této funkce spolu s ostatními regresními model je uveden zde: Obrázek 5: Graf správné regresní funkce