RNDr. Marie Forbelská, Ph.D. 1

Transkript

1 RNDr. Marie Forbelská, Ph.D. 1 M cvičení : M6120cv07 (Klasický lineární regresní model) A. Klasický lineární regresní model, modely neúplné hodnosti, rozšířený lineární regresní model a vážená metoda nejmenších čtverců. Mějme regresní model plné hodnosti: Y=Xβ+ ε h(x)=h(x X)=p+1 n > p+1 ε L n (0,σ 2 I n ) vektor závisle proměnných Y=(Y 1,...,Y n ) matice plánu X=(x ij ) i=1,...,n; j=0,...,p vektor chyb ε=(ε 1,...,ε n ), Eε=0, Dε=σ 2 I n ; Odhad neznámých parametrů β provedený metodou nejmenších čtverců je řešením normálních rovnic X Xβ=X Y a platí: β=(x X) 1 X Y Označme Ŷ = Xˆβ=X ( X X ) 1 X Y=HY }{{} H ˆε = Y Ŷ=(I } H {{} )Y=MY=M(Xβ+ ε))=mx }{{} β+mε=(i H)ε M =0 s 2 S = e n p 1 = 1 1 n p 1 (Y Ŷ) (Y Ŷ)= n p 1ˆε ˆε= 1 1 n p 1Ŷ (I H)Ŷ= Platí E β= β Es 2 = E(Se) n p 1 = σ2, tj. s 2 je nestranným odhadem rozptylu D β= σ 2 (X X) 1 Platí li navíc ε N n (0,σ 2 I n ), pak Y N n (Xβ,σ 2 I n ) ε N n (O,σ 2 (I H)) β Np+1 (β,σ 2 (X X) 1 ) S e σ 2 χ 2 (n p 1) β a s 2 jsou stochasticky nezávislé T j = ˆβ j β j t(n p 1), kde(x X) 1 =(v ij ) i,j=0,...,p s 2 v jj n p 1 ε (I H)ε F= 1 (ˆβ qs 2 2 β 2 ) W 1 (ˆβ 2 β 2 ) F(q,n p 1), ( ) ( ) ( ) V U kde (X X) 1 β1 ˆβ1 =, β= ˆβ= a h(w)=q U W β 2 ˆβ 2 c T= ˆβ c β t(n p 1), kde c=(c s 0,c 1,...,c p ) a E(c β)=c β 2 c (X X) 1 c Y i =x i β+ ε i N(x i β,σ2 ) Ŷ i =x i β N(x i β,σ2 x i (X X) 1 x i ) kde x i =(x i0,...,x ip ) je i-tý řádek matice plánux } Y i Ŷi N(0,σ 2 (1+x i (X X) 1 x i ))

2 2 Lineární statistické modely II (7. cvičení) pro parametry β j j=0,..., p Intervaly spolehlivosti β j t 1 α2 (n p 1)s v jj, β j+ t 1 α2 (n p 1)s v jj pro střední hodnotu predikce EŶi=Ex i b β=x iβ pro predikci Ŷ i=x i b β i=1,..., n x i b β t 1 α2 (n p 1)s p x i (X X) 1 x i, x i b β+ t 1 α2 (n p 1)s p x i (X X) 1 x i x i b β t 1 α2 (n p 1)s p 1+x i (X X) 1 x i,x i b β+t 1 α2 (n p 1)s p 1+x i (X X) 1 x i kde t 1 α 2 (n p 1) je1 α 2 kvantil Studentova rozdělení o n p 1 stupních volnosti Až doposud jsme uvažovali lineární regresní model plné hodnosti. V některých situacích je však vhodné použít model s neúplnou hodností, tj. h(x)=r<k n. V tom případě systém normálních rovnic má nekonečně mnoho řešení, takže žádný vektor středních hodnot EY=µ=Xβ neurčuje jednoznačně vektor β. Není však vyloučeno, že existují nějaké lineární kombinace vektoru β, jejichž hodnoty jsou vektorem středních hodnot µ M(X) určeny jednoznačně. Ukazuje se (viz Anděl, 1978), že těmito hledanými vektory jsou (nestranně lineárně) odhadnutelné parametrické funkce θ=c β. Jejich důležitou vlastností je, že jsou to právě lineární kombinace řádků matice X, tj. c M(X ). Pokud máme vektor θ=(θ 1,...,θ m ), m N, jehož složky jsou odhadnutelné, jde o odhadnutelný vektor parametrů. Dá se ukázat (viz Anděl, 1978), že nejlepším nestranným lineárním odhadem odhadnutelné parametrické funkce θ=c β jeˆθ=c β, kde β je libovolné řešení normálních rovnic. Odtud je ihned vidět, že vektor středních hodnot µ=ey=xβ je vždy odhadnutelný a jeho nejlepší nestranný lineární odhad je tvaru µ=x(x X) - X Y=HY. Platí li navícy N n (Xβ,σ 2 I n ), pak (viz Anděl, 1978) (1) Statistika S e /σ 2 = 1 σ 2 (Y X β) (Y X β)= 1 σ 2 Y [I n H]Y χ 2 (n r). (2) Statistika s 2 = Se n r je nestranným odhadem parametru σ2. (3) Vektor β=(x X) - X Y a s 2 jsou nezávislé. (4) Statistika T= q c β c b β s c (X X) - c t(n r). Někdy musíme vzít současně se základním lineárním modelem v úvahu i několik speciálních případů tohoto modelu, kterým se říká podmodely nebo submodely. Mějme náhodný vektory=(y 1,...,Y n ) a předpokládejme, že platí model M a jsou dány další dva submodely M 1 a M 2, přičemž pro n k r r 1 r 2 máme M Y N n (Xβ,σ 2 I n ), X je typu n k, h(x)=r, β je typu k 1 M 1 Y N n (Uβ 1,σ 2 I n ), U je typu n k 1, h(u)=r 1, β 1 je typu k 1 1 M 2 Y N n (Tβ 2,σ 2 I n ), T je typu n k 2, h(t)=r 2, β 2 je typu k 2 1 Položme µ 1 = U(U U) - U Y a µ 2 = T(T T) - T Y, pak (viz Anděl, 1978) (5) platí-li model M 1 F 1 = (bµ bµ 1 ) (bµ bµ 1 ) 1 r r 1 s F(r r 2 1,n r), (6) platí-li model M 2 F 2 = (bµ 1 bµ 2 ) (bµ 1 bµ 2 ) r 1 r 2 1 s 2 F(r 1 r 2,n r).

3 RNDr. Marie Forbelská, Ph.D. 3 Podmodel vzniklý vypuštěním sloupců matice plánu. Podmodel může být dán požadavkem vynechat z matice plánu X některé sloupce. Bez újmy na obecnosti předpokládejme, že matice, které určují model a podmodel se liší právě posledními sloupci maticex, takže X=(X 0,X 1 ). Mějme náhodný vektory=(y 1,...,Y n ) a předpokládejme, že platí model M a je dán submodel M 0, přičemž M Y N n (Xβ,σ 2 I n ) kdex je typu n k, h(x)=r, β je typu k 1 M 0 Y N n (X 0 β 0,σ 2 I n ) kdex 0 je typu n k 0, h(x 0 )=r 0, β 0 je typu k 0 1 kde n k r r 0 Podle definice ) model M 0 je podmodelem M pokud X 0 =XK, v našem případě matice K= je typu k k 0. ( Ik0 0 Položme µ=hy=x(x X) - X Y a µ 0 =H 0 Y=X 0 (X 0 X 0) - X 0 Y, pak Pokud platí model M 0, pak statistika S e =(Y µ) (Y µ) S e0 =(Y µ 0 ) (Y µ 0 ) S 0 =( µ µ 0 ) ( µ µ 0 ) S e = S e0 S 0 F 0 = (S e 0 S e )/(r r 0 ) S e /(n r) F(r r 0,n r). Rozšířený lineární regresní model a vážená metoda nejmenších čtverců. Mějme regresní model, ve kterémy=xβ+ε, ε L n (0,σ 2 V),V>0, a hodnost matice h(x) = k (tj. V je pozitivně definitní), pak odhad pomocí metody nejmenších čtverců je roven β=(x V 1 X) 1 X V 1 Y, což lze snadno dokázat. Vzhledem k předpokaduv>0(tj.vje pozitivně definitní) existujev 1 2, která je symetrická a regulární. Proto h(v 1 2X)=h(X)=k=h(X V 1 X)=h(X V 1 2V 1 2X) takžex V 1 X je regulární. Položme Z=V 1 2 Y, F=V 1 2 X, η=v 1 2 ε. Pak z Y=Xβ+ ε plyne, že V 1 2Y=V 1 2Xβ+V 1 2ε, tj. Z=Fβ+ η. Pak a Eη= EV 1 2ε=V 1 2 }{{} Eε =0 =0 Dη= D(V 1 2ε)=σ 2 V 1 2VV 1 2= σ 2 V 1 2V 1 2V 1 2V 1 2= σ 2 I n a tento model již splňuje předpoklady klasického lineárního regresního modelu, ve kterém odhad vektoru neznámých parametrů metodou nejmenších čtverců je roven β=(f F) 1 F Z=(X V 1 2V 1 2X) 1 X V 1 2V 1 2Y=(X V 1 X) 1 X V 1 Y.

4 4 Lineární statistické modely II (7. cvičení) Nejčastěji se maticevuvažuje jako diagonální matice ve tvaru V=diag{v 1,...,v n }. Položíme-li W=V 1 = diag{ 1 v 1,..., 1 v n }=diag{w 1,...,w n }, přičemž prvky w 1,...,w n se nazývají váhami (tedy čím je rozptyl větší, tím je váha pozorování menší). Pak odhad neznámých parametrů metodou nejmenších čtverců: β=(x WX) 1 X WY se nazývá vážená metoda nejmenších čtverců. Poznámka: V prostředí R se ve funkci lm() přidá parametr weights. B. Testování rovnoběžnosti a shodnosti dvou regresních přímek Mějme dva nezávislé náhodné výběry a k tomu odpovídající hodnoty regresorů Y 11,...,Y 1n1 (resp. Y 21,...,Y 2n1 ) x 11,...,x 1n1 (resp. x 21,...,x 2n2 ). Předpokládejme, že Y 1i = a 1 + b 1 x 1i + ε 1i, ε 1i N(0,σ 2 ) i=1,...,n 1 Y 2i = a 2 + b 2 x 2i + ε 2i ε 2i N(0,σ 2 ) i=1,...,n 2 Vytvořme společný regresní model: Y 11 1 x Y 1n1 Y 21 = 1 x 1n x a 1 b 1 a 2 b 2 + ε 11. ε 1n1 ε Y 2n x 2n2 ε 2n2 Vyjádřeno blokově: ( Y1 Y 2 ) ( X1 0 = 0 X 2 Pak ( ) ( ) X X X= 1 X 1 0 X 0 X 2 X, X Y= 1 Y 1 2 X 2 Y 2 )( β1 a β 2 ) ( ε1 + ε 2 ) ) ( β1 β= = β 2 Označme ) ( ) ( ) (ˆε1 Y ˆε=Y Ŷ=Y X β= = 1 Ŷ1 Y = 1 X 1 β1 ˆε 2 Y 2 Ŷ2 Y 2 X 2 β2 ( (X 1 X 1 ) 1 X 1 Y ) 1 (X 2 X 2) 1 X 2 Y. 2 S e = ε ε= ε 1 ε 1 + ε 2 ε 2 = S e1 + S e2 s 2 1 = Se 1 n 1 2 = bε 1 bε 1 n 1 2, s2 2 = Se 1 n 2 2 = bε 2 bε 2 n 2 2 s 2 S = e n 1 +n 2 4 = (n 1 2)s 2 1 +(n 2 2)s 2 2 n 1 +n 2 4

5 RNDr. Marie Forbelská, Ph.D. 5 Testování rovnoběžnosti dvou regresních přímek Při testování hypotézy H 0 : b 1 = b 2 proti alternativě H 1 : b 1 b 2 využijeme toho, že statistika c T= ˆβ c β t(n p 1). s 2 c (X X) 1 c Položmec=(0,1,0, 1), pak c (X X) 1 c=v 22 + v 44, přičemž (X X) 1 =(v ij ) i,j=1,...,4. Za platnosti nulové hypotézy statistika T 0 = ˆb 1 ˆb 2 s v 22 +v 44 t(n 1 + n 2 4). Nulovou hypotézu zamítáme na hladině významnosti α pokud t 0 > t 1 α 1+ n 2 2 4) nebo p-value p 0 = P(T 0 > t 0 ) < α 2. Testování shodnosti dvou regresních přímek Budeme testovat hypotézu H 0 : β 1 = β 2 proti alternativě H 1 : β 1 β 2. Využijeme vztahů K 2 = Se β 1 β ( 2 N σ 2 = (n 1+n 2 4)s 2 σ χ 2 (n n 2 4) β 1 β 2,σ 2( (X 1 X 1) 1 +(X 2 X 2) 1 }{{} W a za platnosti H 0 K 1 = 1 σ 2 ( β1 β 2 ) W 1 ( β1 β 2 ) χ 2 (2) pak F 0 = K 1 /2 K 2 /(n 1 +n 2 4) = 1 Nulovou hypotézu zamítáme na hladině významnosti α ) ) 2s 2 ( β1 β 2 ) W 1 ( β1 β 2 ) F(2,n1 +n 2 4) pokud f 0 < F α 2 (2,n 1+ n 2 4) nebo f 0 > F 1 α 2 (2,n 1+ n 2 4) nebo p-value p 0 = P(F > f 0 ) < α 2 nebo 1 p 0 < α 2. Ověřování shodnosti rozptylů Při testování hypotézy H 0 : σ1 2= σ2 2 proti alternativě H 1: σ1 2 σ2 2 statistika F 0 za platnosti H 0 má F-rozdělení využijeme toho, že F 0 = Se 1 (n 1 2)σ 2 Se 2 = s2 1 s 2 (n 2 2)σ 2 2 F(n 1 2,n 2 2) Nulovou hypotézu zamítáme na hladině významnosti α pokud f 0 < F α 2 (n 1 2,n 2 2) nebo f 0 > F 1 α 2 (n 1 2,n 2 2) nebo p-value p 0 = P(F 0 > f 0 ) < α 2 nebo 1 p 0 < α 2. Reference: Anděl, J. Matematická statistika. SNTL, ALFA Praha 1978

6 6 Lineární statistické modely II (7. cvičení) Příklad 1: Rozvodovost v České a Slovenské republice ( ) V celostátních statistikách byl v letech sledován počet rozvodů na 1000 obyvatel zvlášt pro Českou a Slovenskou republiku. Do proměnných y1 a y2 vložíme počty rozvodů na 1000 obyvatel pro jednotlivé republiky. > TXT <- "Rozvodovost v CR a SR v letech " > TxtY <- "pocet rozvodu na 1000 obyvatel" > TxtX <- "roky" > TxtGr <- "republika" > y1 <- c(1.34, 1.45, 1.47, 1.52, 1.48, 1.66, 1.77, 1.76, 1.89, 2.08, 2.19) > y2 <- c(0.58, 0.59, 0.58, 0.55, 0.54, 0.57, 0.64, 0.57, 0.67, 0.75, 0.76) > xtime <- 1960:1970 Hodnoty obou republik vykreslíme do jediného grafu pomocí funkce matplot(). Do grafu zakreslíme také regresní přímky. > matplot(xtime, cbind(y1, y2), type = "o", xlab = TxtX, main = TXT, ylab = paste(txty, ": CR(1), SR(2)", sep = ""), lty = 1, col = c("darkblue", "darkgreen")) > abline(lm(y1 ~ xtime), col = "lightblue3", lty = 1) > abline(lm(y2 ~ xtime), col = "lightgreen", lty = 1) Rozvodovost v CR a SR v letech pocet rozvodu na 1000 obyvatel: CR(1), SR(2) roky Obrázek 1: matplot: pro data Rozvodovost v České a Slovenské republice v letech

7 RNDr. Marie Forbelská, Ph.D. 7 Pro obě dvě republiky provedeme odhad všech parametrů regresní přímky pomocí funkce lm(). Kvůli vysokým x vým hodnotám se doporučuje proměnnou x (roky) centrovat. > n <- length(xtime) > xshift <- mean(xtime) > model.cr <- lm(y1 ~ I(xtime - xshift)) > summary(model.cr) Call: lm(formula = y1 ~ I(xtime - xshift)) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) e-14 *** I(xtime - xshift) e-06 *** --- Signif. codes: 0 *** ** 0.01 * Residual standard error: on 9 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 1 and 9 DF, p-value: 1.534e-06 > model.sr <- lm(y2 ~ I(xtime - xshift)) > summary(model.sr) Call: lm(formula = y2 ~ I(xtime - xshift)) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) e-11 *** I(xtime - xshift) ** --- Signif. codes: 0 *** ** 0.01 * Residual standard error: on 9 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 1 and 9 DF, p-value:

8 8 Lineární statistické modely II (7. cvičení) Testování homogenity rozptylu Chceme li testovat rovnoběžnost a shodnost obou přímek, musíme nejprve otestovat homogenitu rozptylu pomocí statistiky F 0 = s 2 1 /s2 2 F(n 1 2,n 2 2). Pomocí funkcesummary() získáme odhady statistik s 2 1 a s2 2 (vizresidual standard error v předchozích výpisech) a spočítáme hodnotu statistiky F 0. > (s.cr <- summary(model.cr)$sigma) [1] > (s.sr <- summary(model.sr)$sigma) [1] > (f0 <- s.cr^2/s.sr^2) [1] Abychom mohli provést testování, potřebuje mít bud kritickou hodnotu testu nebo příslušnou p hodnotu. K tomu potřebujeme znát stupně volnosti, zbytek spočítáme pomocí distribuční a kvantilové funkce F rozdělení. > (nu.sigma.cr <- model.cr$df.residual) [1] 9 > (nu.sigma.sr <- model.sr$df.residual) [1] 9 > (F.kritH <- qf(0.975, nu.sigma.cr, nu.sigma.sr)) [1] > (F.kritD <- qf(0.025, nu.sigma.cr, nu.sigma.sr)) [1] > (pvalf0 <- 1 - pf(f0, nu.sigma.cr, nu.sigma.sr)) [1]

9 RNDr. Marie Forbelská, Ph.D. 9 Protože konkrétní hodnota f 0 = statistiky F neleží v kritické oblasti testu W α = {(0, ) ( , )} a také p hodnota není menší než 0.05, nezamítáme hypotézu o shodě rozptylu. Testování rovnoběžnosti přímek Při testování hypotézy H 0 : b 1 = b 2 proti alternativě H 1 : b 1 b 2 využijeme toho, že statistika T= ˆb 1 ˆb 2 s v 22 +v 44 t(n 1 + n 2 4). Diagonální prvky matice(x X) 1 získáme pomocí funkce summary(). > (vjj.cr <- diag(summary(model.cr)$cov.unscaled)) (Intercept) I(xtime - xshift) > (vjj.sr <- diag(summary(model.sr)$cov.unscaled)) (Intercept) I(xtime - xshift) Protože obě regresní přímky byly odhadnuty na základě stejného počtu pozorování, tak vážený průměr obou rozptylů je obyčejným aritmetickým průměrem. A pak již snadno spočítáme hodnotu testové statistiky a příslušnou kritickou hodnotu a p hodnotu. > (s2 <- 0.5 * (s.cr^2 + s.sr^2)) [1] > (t0 <- (coef(model.cr)[2] - coef(model.sr)[2])/sqrt(s2 * (vjj.cr[2] + vjj.sr[2]))) I(xtime - xshift) > (t.krit <- qt(0.975, nu.sigma.cr + nu.sigma.sr)) [1] > (pvalt <- 2 * (1 - pt(t0, nu.sigma.cr + nu.sigma.sr))) I(xtime - xshift) e-06

10 10 Lineární statistické modely II (7. cvičení) Protože vypočtená hodnota t 0 = W α = {(, ) ( , )} a také p hodnota je menší než 0.05, proto zamítáme nulovou hypotézu o rovnoběžnosti obou přímek. Testování shodnosti přímek Testování shodnosti přímek provedeme pomocí F statistiky kde F 0 = 1 2s 2 ( β1 β 2 ) W 1 ( β1 β 2 ) F(2,n1 +n 2 4) W=(X 1 X 1) 1 +(X 2 X 2) 1 Nejprve spočítáme maticiw, pak její inverzní matici pomocí funkce solve(). > W <- summary(model.cr)$cov.unscaled + summary(model.sr)$cov.unscaled > (invw <- solve(w)) (Intercept) I(xtime - xshift) (Intercept) e e-16 I(xtime - xshift) e e+01 Nakonec dopočítáme hodnotu statistiky F 0, kritické hodnoty a p hodnotu. > diffbeta <- as.matrix(coef(model.cr) - coef(model.sr)) > F0 <- t(diffbeta) %*% invw %*% diffbeta > (F0 <- F0/(2 * s2)) [,1] [1,] > (F0.kritH <- qf(0.975, 2, nu.sigma.cr + nu.sigma.sr)) [1] > (F0.kritD <- qf(0.025, 2, nu.sigma.cr + nu.sigma.sr)) [1] > (pvalf00 <- 1 - pf(f0, 2, nu.sigma.cr + nu.sigma.sr)) [,1] [1,] 0 Protože konkrétní hodnota f 0 = statistiky F 0 leží v kritické oblasti testu W α = {(0, ) ( , )} a také p hodnota je menší než 0.05, zamítáme hypotézu o shodě regresních přímek.

11 RNDr. Marie Forbelská, Ph.D. 11 Testování rovnoběžnosti a shodnosti přímek pomocí podmodelů Předchozí postup testování rovnoběžnosti a shodnosti dvou přímek je velmi pracný. Naštěstí totéž můžeme provést mnohem jednodušším postupem, a to pomocí podmodelů. Vytvoříme jediný regresní model s využitím kategoriální proměnné, která bude udávat, zda se jedná o data jedné či druhé republiky. Dostaneme tak tzv. ANCOVA model nebo též mluvíme o analýze kovariance. ANCOVA modely jsou lineární regresní modely, jejichž závisle proměnné (nazývané též kovariáty či regresory) jsou jak spojité, tak kategoriální. Ve shodě s implicitním nastavení kontrastů v prostředí R vytvoříme jediný regresní model a to tak, abychom vypuštěním jednoho sloupce mohli testovat i rovnoběžnost přímek. Plný model, který označíme jako M, bude mít různé koeficienty α i β, tedy předpokládá, že přímky mohou být různoběžné. M : Y ji = α+α 2 +(β+ β 2 )x ji + ε ji kde j=1,2 i=1,...,n j (n 1 = n 2 =11) a parametry α 2 a β 2 budou nulové pro Českou republiku a pro Slovenskou republiku budou značit odchylku od parametru α (Intercept), resp. β (směrnice přímky). Nejprve vytvoříme datový rámec. > data <- data.frame(x = rep(xtime - xshift, 2), y = c(y1, y2), gr = c(rep("cr", n), rep("sr", n))) > str(data) data.frame : 22 obs. of 3 variables: $ x : num $ y : num $ gr: Factor w/ 2 levels "CR","SR": Nyní pomocí funkce lm() provedeme odhad modelu M. Všimněme si, jak zadáme různé směrnice i průsečíky (y ~ x * gr), což lze také zapsat názornější a tím i delší formou y ~ x + gr + x:gr. > model.m <- lm(y ~ x * gr, data) > summary(model.m) Call: lm(formula = y ~ x * gr, data = data) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) < 2e-16 *** x e-10 *** grsr < 2e-16 ***

12 12 Lineární statistické modely II (7. cvičení) x:grsr e-06 *** --- Signif. codes: 0 *** ** 0.01 * Residual standard error: on 18 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 3 and 18 DF, p-value: < 2.2e-16 Vypočteme koeficienty obou přímek. > (Coef.M <- coef(model.m)) (Intercept) x grsr x:grsr > a1.m <- Coef.M[1] > a2.m <- Coef.M[1] + Coef.M[3] > b1.m <- Coef.M[2] > b2.m <- Coef.M[2] + Coef.M[4] > txtcoef.m <- paste("a1 =", round(a1.m, 3), " a2 =", round(a2.m, 3), " b1 =", round(b1.m, 3), " b2 =", round(b2.m, 3)) > cat(paste("model M :", txtcoef.m, "\n")) Model M : a1 = a2 = b1 = 0.08 b2 = Vykreslíme do jednoho grafu obě dvě přímky, přidáme intervaly spolehlivosti kolem střední hodnoty a prediční intervaly. > pred.m.cr <- predict(model.m, newdata = data.frame(x = xtime - xshift, gr = "CR")) > pred.m.sr <- predict(model.m, newdata = data.frame(x = xtime - xshift, gr = "SR")) > CR.ci.conf.M <- predict(model.m, newdata = data.frame(x = xtime - xshift, gr = "CR"), interval = "confidence") > CR.ci.pred.M <- predict(model.m, newdata = data.frame(x = xtime - xshift, gr = "CR"), interval = "prediction") > SR.ci.conf.M <- predict(model.m, newdata = data.frame(x = xtime - xshift, gr = "SR"), interval = "confidence") > SR.ci.pred.M <- predict(model.m, newdata = data.frame(x = xtime - xshift, gr = "SR"), interval = "prediction") > yrange <- range(c(data$y, pred.m.cr, pred.m.sr)) > plot(xtime[c(1, n)], yrange, type = "n", xlab = TxtX, main = TXT, ylab = TxtY) > matlines(xtime, cbind(y1, y2), type = "o", pch = c(21, 22), bg = c("red", "cyan"), lty = c(1, 1), col = c("darkred", "darkcyan")) > matlines(xtime, cbind(pred.m.cr, pred.m.sr), lty = c(1, 1), col = c("dodgerblue", "darkgreen"), lwd = 2) > matlines(xtime, cbind(cr.ci.conf.m[, 2:3], SR.ci.conf.M[, 2:3]), lty = c(2, 2, 2, 2), col = c("lightblue4", "lightblue4", "lightgreen", "lightgreen"), lwd = 2) > matlines(xtime, cbind(cr.ci.pred.m[, 2:3], SR.ci.pred.M[, 2:3]), lty = c(3, 3, 3, 3), col = c("lightblue4", "lightblue4", "lightgreen", "lightgreen"), lwd = 2) > mtext(txtcoef.m)

13 RNDr. Marie Forbelská, Ph.D. 13 Rozvodovost v CR a SR v letech a1 = a2 = b1 = 0.08 b2 = pocet rozvodu na 1000 obyvatel roky České a Slovenské re- Obrázek 2: Různoběžné regresní přímky pro data Rozvodovost v publice v letech Nyní budeme uvažovat podmodel modelu M, kdy v matici plánu vypustíme poslední sloupec. Model bude tvaru M 1 : Y ji = α+α 2 + βx ji + ε ji kde j=1,2 i=1,...,n j (n 1 = n 2 =11) a parametr α 2 bude nulový pro Českou republiku a pro Slovenskou republiku bude značit odchylku od parametru α (Intercept). Nyní pomocí funkce lm() provedeme odhad modelu M 1. > model.m1 <- lm(y ~ x + gr, data) > summary(model.m1) Call: lm(formula = y ~ x + gr, data = data) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) < 2e-16 *** x e-05 *** grsr e-14 *** --- Signif. codes: 0 *** ** 0.01 *

14 14 Lineární statistické modely II (7. cvičení) Residual standard error: on 19 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 2 and 19 DF, p-value: 5.988e-14 Vypočteme koeficienty obou přímek. > (Coef.M1 <- coef(model.m1)) (Intercept) x grsr > a1.m1 <- Coef.M1[1] > a2.m1 <- Coef.M1[1] + Coef.M1[3] > b1.m1 <- Coef.M1[2] > b2.m1 <- Coef.M1[2] > txtcoef.m1 <- paste("a1 =", round(a1.m1, 3), " a2 =", round(a2.m1, 3), " b1 =", round(b1.m1, 3), " b2 =", round(b2.m1, 3)) > cat(paste("model M1 :", txtcoef.m1, "\n")) Model M1 : a1 = a2 = b1 = b2 = Vykreslíme do jednoho grafu obě dvě přímky, intervaly spolehlivosti kolem střední hodnoty a prediční intervaly. > pred.m1.cr <- predict(model.m1, newdata = data.frame(x = xtime - xshift, gr = "CR")) > pred.m1.sr <- predict(model.m1, newdata = data.frame(x = xtime - xshift, gr = "SR")) > CR.ci.conf.M1 <- predict(model.m1, newdata = data.frame(x = xtime - xshift, gr = "CR"), interval = "confidence") > CR.ci.pred.M1 <- predict(model.m1, newdata = data.frame(x = xtime - xshift, gr = "CR"), interval = "prediction") > SR.ci.conf.M1 <- predict(model.m1, newdata = data.frame(x = xtime - xshift, gr = "SR"), interval = "confidence") > SR.ci.pred.M1 <- predict(model.m1, newdata = data.frame(x = xtime - xshift, gr = "SR"), interval = "prediction") > yrange <- range(c(data$y, pred.m1.cr, pred.m1.sr)) > plot(xtime[c(1, n)], yrange, type = "n", xlab = TxtX, main = TXT, ylab = TxtY) > matlines(xtime, cbind(y1, y2), type = "o", pch = c(21, 22), bg = c("red", "cyan"), lty = c(1, 1), col = c("darkred", "darkcyan")) > matlines(xtime, cbind(pred.m1.cr, pred.m1.sr), lty = c(1, 1), col = c("dodgerblue", "darkgreen"), lwd = 2) > matlines(xtime, cbind(cr.ci.conf.m1[, 2:3], SR.ci.conf.M1[, 2:3]), lty = c(2, 2, 2, 2), col = c("lightblue4", "lightblue4", "lightgreen", "lightgreen"), lwd = 2) > matlines(xtime, cbind(cr.ci.pred.m1[, 2:3], SR.ci.pred.M1[, 2:3]), lty = c(3, 3, 3, 3), col = c("lightblue4", "lightblue4", "lightgreen", "lightgreen"), lwd = 2) > mtext(txtcoef.m1)

15 RNDr. Marie Forbelská, Ph.D. 15 Rozvodovost v CR a SR v letech a1 = a2 = b1 = b2 = pocet rozvodu na 1000 obyvatel roky České a Slovenské re- Obrázek 3: Rovnoběžné regresní přímky pro data Rozvodovost v publice v letech Nakonec budeme uvažovat podmodel modelu M 1, kdy v matici plánu vypustíme poslední sloupec. Model bude tvaru M 2 : Y ji = α+βx ji + ε ji kde j=1,2 i=1,...,n j (n 1 = n 2 =11) a parametry α a β budou společné pro Českou i pro Slovenskou republiku. Pomocí funkce lm() provedeme odhad modelu M 2. > model.m2 <- lm(y ~ x, data) > summary(model.m2) Call: lm(formula = y ~ x, data = data) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) e-09 *** x Signif. codes: 0 *** ** 0.01 * Residual standard error: on 20 degrees of freedom

16 16 Lineární statistické modely II (7. cvičení) Multiple R-squared: , Adjusted R-squared: F-statistic: on 1 and 20 DF, p-value: Vypočteme koeficienty. > (Coef.M2 <- coef(model.m2)) (Intercept) x > a1.m2 <- Coef.M2[1] > a2.m2 <- Coef.M2[1] > b1.m2 <- Coef.M2[2] > b2.m2 <- Coef.M2[2] > txtcoef.m2 <- paste("a1 =", round(a1.m2, 3), " a2 =", round(a2.m2, 3), " b1 =", round(b1.m2, 3), " b2 =", round(b2.m2, 3)) > cat(paste("model M2 :", txtcoef.m2, "\n")) Model M2 : a1 = a2 = b1 = b2 = Vykreslíme do jednoho grafu jedinou regresní přímku, intervaly spolehlivosti kolem střední hodnoty a prediční intervaly. > pred.m2 <- predict(model.m2, newdata = data.frame(x = xtime - xshift, gr = "CR")) > pred.m2 <- predict(model.m2, newdata = data.frame(x = xtime - xshift, gr = "SR")) > ci.conf.m2 <- predict(model.m2, newdata = data.frame(x = xtime - xshift, gr = "CR"), interval = "confidence") > ci.pred.m2 <- predict(model.m2, newdata = data.frame(x = xtime - xshift, gr = "CR"), interval = "prediction") > yrange <- range(c(data$y, pred.m2)) > plot(xtime[c(1, n)], yrange, type = "n", xlab = TxtX, main = TXT, ylab = TxtY) > matlines(xtime, cbind(y1, y2), type = "o", pch = c(21, 22), bg = c("red", "cyan"), lty = c(1, 1), col = c("darkred", "darkcyan")) > lines(xtime, pred.m2, lty = 1, col = c("orchid"), lwd = 2) > matlines(xtime, ci.conf.m2[, 2:3], lty = c(2, 2), col = c("orchid2"), lwd = 2) > matlines(xtime, ci.pred.m2[, 2:3], lty = c(3, 3), col = c("orchid4"), lwd = 2) > mtext(txtcoef.m2)

17 RNDr. Marie Forbelská, Ph.D. 17 Rozvodovost v CR a SR v letech a1 = a2 = b1 = b2 = pocet rozvodu na 1000 obyvatel roky Obrázek 4: Jediná regresní přímka pro data Rozvodovost v České a Slovenské republice v letech Nyní pomocí příkazu anova() otestujeme pomocí F testů, zda se modely významně zhoršily, když jsme postupně odstranili poslední sloupec matice plánu. > anova(model.m, model.m1, model.m2) Analysis of Variance Table Model 1: y ~ x * gr Model 2: y ~ x + gr Model 3: y ~ x Res.Df RSS Df Sum of Sq F Pr(>F) e-06 *** < 2.2e-16 *** --- Signif. codes: 0 *** ** 0.01 * Z výsledků jasně vidíme to, co již bylo patrné z grafů, a to že není možné uvažovat ani model, kde jsou regresní přímky rovnoběžné. Takže musíme zůstat u plného modelu, který jsme označili jako M.

18 18 Lineární statistické modely II (7. cvičení) Testování homogenity rozptylu Pro výsledný model M ještě provedeme test homogenity rozptylu, a to jak pomocí F testu, tak pomocí Bartlettova testu. Testovat samozřejmě musíme rezidua modelu. > var.test(resid(model.m) ~ data$gr) F test to compare two variances data: resid(model.m) by data$gr F = , num df = 10, denom df = 10, p-value = alternative hypothesis: true ratio of variances is not equal to 1 95 percent confidence interval: sample estimates: ratio of variances > bartlett.test(resid(model.m) ~ data$gr) Bartlett test of homogeneity of variances data: resid(model.m) by data$gr Bartlett s K-squared = , df = 1, p-value = Oba dva testy ukazují, že homogenitu rozpylu nezamítáme, nebot F test interval spolehlivosti neobsahuje jedničku p hodnota není menší než 0.05 Bartlettův test p hodnota není menší než 0.05

19 RNDr. Marie Forbelská, Ph.D. 19 C. Úkol: U 126 podniků řepařské oblasti v České republice byl sledován hektarový výnos cukrovky ve vztahu ke spotřebě průmyslových hnojiv. Data jsou uložena v souboru nazvaném cukrovka.txt ve 4 sloupcích: 1. sloupec dolní hranice spotřeby K 2 0 (kg/ha) 2. sloupec horní hranice spotřeby K 2 0 (kg/ha) 3. sloupec četnosti 4. sloupec průměrné výnosy cukrovky (q/ha) (a) Načtěte soubor dat cukrovka.txt. (b) Odhadněte parametry regresních funkcí tvaru y=β 0 + β 1 x y=β 0 + β 1 x+β 2 x 2 y=β 0 + β 1 x 0.5 Poznámka: Za hodnoty nezávisle proměnné volte střed intervalu. Nezapomeňte zohlednit fakt, že v každém intervalu byl jiný počet pozorování (viz 3. sloupec). (c) Porovnejte vhodnost tří použitých regresních modelů.