odpovídá jedna a jen jedna hodnota jiných

Transkript

1 8. Regresní a korelační analýza Problém: hledání, zkoumání a hodnocení souvislostí, závislostí mezi dvěma a více statistickými znaky (veličinami). Typy závislostí: pevné a volné Pevná závislost každé hodnotě jedné veličiny odpovídá jedna a jen jedna hodnota jiných veličin (většinou v teoretické oblasti) Volná závislost hodnotám jedné veličiny odpovídají různé hodnoty jiné veličiny při změnách hodnot těchto veličin se projevuje určitá obecná tendence (v praktických situacích) Statistická závislost volná závislost mezi kvantitavními veličinami Metody regresní a korelační analýzy slouží k poznání, matematickému popisu stat. závislostí a k hodnocení závěrů o vztahu zkoumaných veličin. Jednostranné závislosti regresní analýza zkoumání obecné tendence ve změnách závislé veličiny vzhledem ke změnám nezávislých vel. Vzájemné závislosti korelační analýza důraz na sílu vzájemného vztahu mezi vel. 1

2 Lineární rovnice s jednou nezávislou proměnnou Obecný tvar lineární rovnice s jednou nezávislou proměnnou y = b 0 + b 1 x b 0 a b 1 konstanty x nezávislá veličina, y - závislá veličina Graf lineární rovnice s 1 nezávislou proměnnou přímka; každá přímka, která není kolmá na osu x Geometrická interpretace b 0, b 1 b 0 y-úsek (intercept) b 1 směrnice (slope): indikuje změnu y-hodnoty, která je způsobena změnou x-hodnoty o jednu jednotku

3 Předpoklady: 8.1 Regresní přímka X nezávislá (vysvětlující) veličina (proměnná), regresor Y závislá (vysvětlovaná) veličina (proměnná) náhodná veličina P1. Teoretická regresní přímka: přímka y = β 0 + β 1 x : x E(Y X = x) = β 0 + β 1 x P. Shodné směrodatné odchylky: σ(y X = x) = σ(y ) x P3. Normalita: x Y N- rozdělení If β 0, β 1 a σ : x Y N(β 0 + β 1 x, σ ) = P1 P3 splněny Předpoklady P1, P, P3 model regresní přímky Symbolické vyjádření: ɛ N[0; σ ] Y = β 0 + β 1 X + ɛ = η + ɛ β 0, β 1 parametry (koeficienty) regresní přímky 3

4 Výběrová (empirická) regresní přímka x 1, x,, x n pozorované hodnoty veličiny X y 1, y,, y n pozorované hodnoty i.i.d. náh. v. Y 1, Y,, Y n, Y i N(β 0 + β 1 x i, σ ) y i = β 0 + β 1 x i + ɛ i, η i = E(Y i X = x i ) = β 0 + β 1 x i β 0, β 1, σ obecně neznámé Cíl: Odhadnout β 0, β 1, σ na základě dvojic dat (x i, y i ), i = 1,,..., n b 0 a b 1 - bodové odhady parametrů β 0 a β 1 ŷ = b 0 +b 1 x výběrová (empirická) regresní přímka odhad teoretické regresní přímky Reziduum: e i = y i ŷ i n i=1 e i = 0 e i odhad hodnoty náhodné veličiny ɛ i Reziduální součet čtverců: S R = n i=1 e i = n i=1 (y i ŷ i ) 4

5 Bodové odhady parametrů β 0 a β 1 Kritérium: Minimalizace součtu čtverců S R S R = S(β 0, β 1 ) = n i=1 [y i (β 0 + β 1 x i )] Nutná podmínka pro minimum ryze konvexní funkce S(β 0, β 1 ) dvou proměnných β 0, β 1 : S β 0 β0 =b 0,β 1 =b 0 = n S β 1 β0 =b 0,β 1 =b 0 = n Systém normálních rovnic b 0 nb 0 + b 1 x i = n i=1 n i=1 x i + b 1 i=1 (y i b 0 b 1 x i ) = 0 n i=1 (y i b 0 b 1 x i )x i = 0 n i=1 y i i=1 x i = n i=1 x iy i Řešení: b 1 = n i=1 x i y i n xȳ n i=1 x i n x = s xy s x b 0 = ȳ b 1 x Výběrová regresní přímka: ŷ = b 0 + b 1 x = ȳ b 1 x + b 1 x = ȳ b 1 (x x) = ȳ b yx (x x) 5

6 Bodový odhad rozptylu σ Předpoklady: P1 P3 pro model regresní přímky Bodový odhad σ: s R s R = S R n, S R = n i=1 (y i ŷ i ) Směrodatná chyba odhadu rozptylu σ (reziduální směrodatná odchylka) (standard error of estimate) s R = S R n Interpretace s R : vyjadřuje jak se v průměru hodnota ŷ veličiny Y liší od pozorované hodnoty y 6

7 Rozdělení odhadů b 0, b 1 a ŷ b 0 β 0 s b0 t[n ]; b 1 β 1 s b1 t[n ]; ŷ i η i sŷ t[n ] s b0, s b1 směrodatné chyby odhadů b 0 a b 1 s b 0 = s R 1 n + x n i=1 (x i x) = s R x n i=1 (x i x) x = 1 n s b 1 = s R n i=1 x i 1 n i=1 (x i x) sŷ chyba regresní přímky pro i-té pozorování y i sŷ = s R (x i x) n i=1 (x i x) Pro n > 30 lze použít aproximaci N[0; 1]-rozdělením b 0 β 0 s b0 N[0; 1]; b 1 β 1 s b1 N[0; 1]; ŷ i η i sŷ N[0; 1] 7

8 Intervaly spolehlivosti pro β 0, β 1, η i Předpoklady: P1 P3 pro model regresní přímky Koeficient spolehlivosti: (1 α) Bodové odhady β 0, β 1, η i : b 0, b 1, ŷ i Krajní body 100(1 α)% intervalu spolehlivosti: b 0 ± t 1 α (n ) s b0 b 1 ± t 1 α (n ) s b1 ŷ i ± t 1 α (n ) sŷi i = 1,..., n s bi směrodatná (standardní) chyba odhadu b i, i = 0, 1 sŷi chyba regresní přímky pro i-té pozorování y i t 1 α (n ) 100(1 α/)% kvantil Studentova t-rozdělení s (n ) stupni volnosti 8

9 Testy hypotéz o parametrech β 0, β 1 Individuální t-test : H 0 : β i = 0 versus H 1 : β i 0 i = 0, 1 Testovací statistika: Kritický obor: T i = b i s bi t[n ] T i > t 1 α (n ) s bi směrodatná (standardní) chyba odhadu b i, i = 0, 1 t 1 α (n ) 100(1 α/)% kvantil Studentova t-rozdělení s (n ) stupni volnosti 9

10 Odhad a předpověd (predikce) Využití výběrové regresní přímky: pro odhad střední hodnoty závislé veličiny Y odpovídající určité hodnotě nezávislé veličiny X pro předpověd individuální hodnoty veličiny Y odpovídající určité hodnotě nezávislé veličiny X x P určitá hodnota nezávislé veličiny X ŷ P = b 0 + b 1 x P předpověd hodnoty y P veličiny Y pro X = x P E(Y X = x P ) střední hodnota Y na úrovni x P Bodový odhad E(Y X = x P ) : b 0 + b 1 x P Bodový odhad střední hodnoty Y na úrovni x P shodný s předpovědí individuální hodnoty y P. je 10

11 Interval spolehlivosti pro E(Y X = x P ) t-rozdělení pro IS v regresi T = ŶP (β 0 + β 1 x P ) 1 s R n + t[n ] (x P x) n i=1 (x i x) Předpoklady: P1 P3 pro model regresní přímky Koeficient spolehlivosti: (1 α) Bodový odhad E(Y X = x P ) : b 0 + b 1 x P Krajní body IS pro E(Y X = x P ): ŷ p ± t 1 α (n ) s R 1 n + (x p x) n i=1 (x i x) s R = S R n reziduální rozptyl t 1 α (n ) 100(1 α/)% kvantil Studentova t-rozdělení s (n ) stupni volnosti 11

12 Interval spolehlivosti pro y P IS pro y P interval předpovědi (predikce) pro y P (IP) t-rozdělení pro IP v regresi T = Y P ŷ P 1 s R + 1 n + t[n ] (x P x) n i=1 (x i x) Předpoklady: P1 P3 pro model regresní přímky Koeficient spolehlivosti: (1 α) Předpověd hodnoty veličiny Y pro hodnotu x P veličiny X: ŷ p = b 0 + b 1 x p Krajní body IS pro hodnotu y P na úrovni x P : ŷ P ± t 1 α (n ) s R n + (x P x) n i=1 (x i x) IP je širší než IS 1

13 8. Kvalita regresní přímky a intenzita závislostí Korelace a regrese Korelační model: Y a X náhodné veličiny Regresní model: Y náhodná Regresní model širší uplatnění Korelační koeficient r xy (výběrový): popisná míra síly lineárního (přímkového) vztahu mezi dvěma proměnnými r xy = s xy s x s y = s yx s y s x = r yx 1, 1 Regresní parametr b 1 a korelační koeficient r yx b 1 = s xy, r s yx = s xy s y = b 1 = r yx x s x s y s x b 1 = 0 r yx = 0 Pro teoretické hodnoty platí: β 1 = 0 ρ yx = 0 13

14 Vysvětlený a nevysvětlený součet čtverců (x i, y i ), i = 1,..., n pozorované hodnoty X a Y Pro odchylky platí: (y i ȳ) = (ŷ i ȳ) + (y i ŷ i ) celková = vysvětlená + nevysvětlená odchylka odchylka odchylka Pro součet čtverců platí: n i=1 (y i ȳ) = n i=1 (ŷ i ȳ) + n i=1 (y i ŷ i ) celkový = vysvětlený + nevysvětlený součet součet součet čtverců čtverců čtverců Vysvětlený součet čtverců je vysvětlen regresorem (veličinou X): n i=1 (y i ȳ) = b n 1 i=1 (x i x) + n i=1 (y i ŷ i ) celkový = součet čtverců + nevysvětlený součet vysvětlený (reziduální) čtverců z X součet čtverců 14

15 Regresní identita Celkový součet čtverců: S y = n (y i ȳ) i=1 Reziduální součet čtverců: S R = n (y i ŷ i ) i=1 Regresní součet čtverců: S T = n (ŷ i ȳ) i=1 Regresní identita: S y = S R + S T Výpočetní vzorce pro součty čtverců Celkový součet čtverců: S y = n i=1 y i ( n i=1 y i ) /n Regresní součet čtverců: S T = [ n i=1 x i y i ( n i=1 x i ) ( n i=1 y i ) /n] [ n i=1 x i ( n i=1 x i ) /n] Reziduální součet čtverců: S R = S y S T 15

16 Regresní t-test H 0 : β 1 = 0 H 1 : β 1 0 Test významnosti parametru β 1 užitečnosti X pro Y rozhodování o Jestliže β 1 = 0 = η = E(Y ) = β 0, D(Y ) = σ η, D(Y ) nezávisí na X = X neposkytuje žádnou informaci o rozdělení Y = neexistuje lineární vztah mezi X a Y Regresní t-test H 0 : β 1 = 0 versus H 1 : β 1 0 Testovací statistika: Kritický obor: T = b 1 s b1 t[n ] T > t 1 α (n ) s b1 směrodatná (standardní) chyba odhadu t 1 α (n ) 100(1 α/)% kvantil Studentova t-rozdělení s (n ) stupni volnosti 16

17 Analýza rozptylu regresní přímka Zdroj variability SS Df MS F S Vysvětlený (regresí) S T 1 T1 Nevysvětlený S R n Celkový S y n 1 S R n S T S R n F = rozptyl vysvětlený regresí nevysvětlený rozptyl = b 1 n i=1 (x i x) s R F-test analýzy rozptylu alternativní způsob testování hypotézy H 0 : β 1 = 0 (X nemá žádný vztah k Y ) H 1 : β 1 0 Hladina významnosti: α Testovací statistika: Kritický obor: F = S T1 S R n F [1; n ] F > F 1 α (1; n ) F 1 α (1; n ) 100(1 α)% kvantil Fisherova- Snedecorova rozdělení s 1 a (n ) stupni volnosti 17

18 Rovnocenné způsoby testování hypotézy: H 0 : β 1 = 0 H 1 : β 1 0 Regresní t-test F -test analýzy rozptylu Test nulovosti korelačního koeficientu ρ = 0 Rovnocennost regresního t-testu a F -testu: H 0 : β 1 = 0 H 1 : β 1 0 Vztah mezi F -statistikou a T -statistikou: F = b n 1 i=1 (x i x) s R = b 1 s R/ n i=1 (x i x) = b 1 s R = T Vztah mezi kvantily F [ν 1 ; ν ] a t[ν ]- rozdělení: Pro ν 1 = 1, ν libovolné, α platí: F 1 α (1, ν ) = t 1 α/(ν ) Výhoda t-testu možnost sestrojit IS pro β 1 18

19 Koeficient (index) determinace Koeficient determinace (v regresní analýze také název index determinace I )(Coefficient of determination, R-squared): R = vysvětlený součet čtverců celkový součet čtverců = S T S y = 1 S R S y 0, 1 R = R index korelace R charakteristika kvality regresního modelu: udává jakou část celkové variability lze vysvětlit zvoleným regresním modelem poměrné snížení celkového součtu čtverců chyb, kterého docílíme použitím regresní rovnice místo aritmetického průměru Interpretace: R blízké 0 naznačuje, že zvolená regresní funkce není příliš vhodná pro popis vztahu X a Y R blízké 1 naznačuje, že regresní přímka velice dobře vystihuje vztah X a Y 19

20 8.3 Obecný regresní model X 1, X,, X k nezávislé (vysvětlující) proměnné Y závislá (vysvětlovaná) veličina Regresní funkce: η E(Y ) = f(x 1, x,, x k ; β 0, β 1,..., β p ) x 1, x,..., x k naměřené (dané) hodnoty veličin X 1, X,, X k β 0, β 1,..., β p regresní parametry Y = f(x 1, x,, x k ; β 0, β 1,..., β p ) + ɛ = η + ɛ η deterministická složka ɛ náhodná složka: ɛ N[0; σ] Funkce f: zpravidla známá funkce nebo se předpokládá znalost tvaru fce β 0, β 1,..., β p, σ neznámé parametry 0

21 Dva základní typy regrese: Jednoduchá regrese - jedna nezávislá veličina (k = 1) η = f(x, β 0, β 1,, β p ) Vícenásobná regrese - více nezávislých veličin (k ) η = f(x 1, x,, x k ; β 0, β 1,..., β p ) 1

22 Jednoduchá regrese η = f(x, β 0, β 1,, β p ) Lineární regresní funkce lineární z hlediska parametrů η = β 0 + β 1 f 1 (x) + + β p f p (x) β 0, β 1,, β p neznámé regresní parametry f 1, f,, f p známé funkce nezávislé veličiny X Speciální případ: Modely lineární z hlediska parametrů i z hlediska vysvětlujících proměnných Příklady η = β 0 + β 1 x β p x p (a) přímková regrese: k = 1, f 1 (x) = x η = β 0 + β 1 x (b) parabolická regrese: f 1 (x) = x, f (x) = x η = β 0 + β 1 x + β x (c) polynomická regrese p-tého stupně: f i (x) = x i, i = 1,,, p η = β 0 + β 1 x + β x + + β p x p

23 (d) hyperbolická regrese: f 1 (x) = x 1 η = β 0 + β 1 x (e) hyperbolická regrese p-tého stupně: f i (x) = x i, i = 1,,, p η = β 0 + β 1 x + β x + + β p x p (e) logaritmická regrese: k = 1, f 1 (x) = log x η = β 0 + β 1 log x Nelineární regresní funkce nelineární z hlediska parametrů Příklady (α) exponenciální regrese p-tého stupně η = β 0 β f 1(x) 1 β f (x) β f p(x) p (β) exponenciální regrese prvního stupně: p = 1, f 1 (x) = x (γ) mocninná regrese η = β 0 β x 1 η = β 0 x β 1 3

24 Bodové odhady regresních parametrů y 1, y,, y n n nezávislých pozorování veličiny Y x 1j, x j,, x nj dané hodnoty X j, j = 1,,, k. Metoda nejmenších čtverců: min β 0,...,β p n i=1 [y i f(x 1i, x i,, x ki ; β 0, β 1,..., β p )] b 0 = ˆβ 0, b 1 = ˆβ 1,..., b p = ˆβ p Řešení: v případě regresních funkcí, které nejsou lineární z hlediska parametrů MNČ vede na soustavu nelineárních rovnic iterační algoritmy použití vhodné transformace Příklad: převedení pomocí logaritmické transformace Y = β 0 β f 1(x) 1 β f (x) β f p(x) p na Y = β 0 + β 1 f 1 (x) + + β p f p (x) 4

25 8.4 Vícenásobná regrese a korelace Vícenásobná lineární regrese Klasický lineární regresní model K1. Tvar regresní funkce: Y = β 0 + β 1 x β p x p + ɛ = η + ɛ K. X 1, X,..., X p nenáhodné, neexistuje mezi nimi lineární funkční vztah x j1, x j,..., x jn dané hodnoty proměnné X j, j = 1,,..., p K3. Rozdělení náhodné složky: ɛ N[0; σ ] K4. y 1, y,, y n pozorované hodnoty náh. veličin Y 1, Y,, Y n Y i = β 0 + β 1 x 1i β p x pi + ɛ i ɛ i N[0; σ ] cov(ɛ i ɛ j ) = 0 i j, i, j = 1,,..., n 5

26 Odhadnutá regresní funkce: nebo ŷ = b 0 + b 1 x 1 + b x... + b p x p ŷ = b 0 + b yx1 x... x p x 1 + b yx x 1... x p x... + b yxp x 1 x... x p 1 x p Parciální (dílčí) regresní koeficienty: b yx1 x... x p, b yx x 1... x p,..., b yxp x 1 x... x p 1 Interpretace parciálních regresních koeficientů: charakteristiky k posouzení individuálního vlivu jednotlivých vysvětlujících proměnných na závislou proměnnou udávají odhad toho, jak se změnila v průměru závislá proměnná Y při jednotkové změně nezávisle proměnné před tečkou, za předpokladu konstantní úrovně proměnných uvedených za tečkou. 6

27 Regresní rovina (p=) - (dvojnásobná r.) η = β 0 + β 1 x 1 + β x y 1, y,, y n n nezávislých pozorování veličiny Y x 1j, x j,, x nj dané hodnoty X j, j = 1, Metoda nejmenších čtverců: min β 0,β 1,β n i=1 [y i β 0 β 1 x 1i β x i ] Ze soustavy normálních rovnic dostaneme: ȳ = b 0 + b 1 x 1 + b x b 0 = ˆβ 0, b 1 = ˆβ 1, b = ˆβ Odhadnutá regresní funkce: nebo ŷ = b 0 + b 1 x 1 + b x ŷ = b 0 + b yx1 x x 1 + b yx x 1 x ŷ = ȳ + b yx1 x (x 1 x 1 ) + b yx x 1 (x x ) 7

28 B-koeficienty (Beta Coefficients) normalizované regresní koeficienty (bezrozměrné charakteristiky) Důvod zavedení: hodnoty parciálních korelačních koeficientů závisí na jednotkách, v jakých jsou vyjádřeny jednotlivé proměnné. Použití: pro srovnání a posouzení individuálního vlivu jednotlivých regresorů na závisle proměnnou. Transformace: ŷ i = ŷi ȳ s y, x ij = x ij x j s xj, i = 1,,..., n, j = 1, Odhadnutá regresní funkce pro p = : ŷ = B yx1 x x 1 + B yx x 1 x B yx1 x, B yx x 1 B-koeficienty Odhady B-koeficientů: MNČ Výpočet z dílčích regresních koeficientů B yx1 x = s x 1 s y b yx1 x = r yx 1 r yx r x1 x 1 r x 1 x B yx x 1 = s x s y b yx. x 1 = r yx r yx1 r x1 x 1 r x 1 x 8

29 Kvalita a intenzita vícenásobné lineární závislosti Míry těsnosti závislosti Y na X 1, X,..., X p Koeficient dílčí korelace (výběrový) r yx1 x...x p míra intensity lineární závislosti y na x 1 při konstantních x,..., x p r yx1 x...x p odhad ρ yx1 x...x p p = : r yx1 x = b yx1 x b yx x 1 Rekurentní vzorce pro výpočet r yx1 x a r yx x 1 : r yx1 x = r yx1 r yx r x1 x (1 r yx )(1 r x 1 x ) r yx x 1 = r yx r yx1 r x1 x (1 r yx1 )(1 r x 1 x ) p : r yx1 x...x p = r yx 1...x p 1 r yxp x x 3...x p 1 r x1 x p x x 3...x p 1 (1 r yxp x x 3...x p 1 )(1 r x 1 x p x x 3...x p 1 ) 9

30 Koeficient vícenásobné korelace (výběrový) r y x1 x...x p míra těsnosti lineární závislosti y na všech x 1, x,..., x p dohromady p = : Platí: r y x1 x = 0 r y x1 x...x p 1 r y x1 x...x p > max j=1,,...,p r yxj r yx 1 r yx1 r yx r x1 x + r yx 1 r x 1 x r y x1 x...x p odhad teoretického koef. vícenásobné korelace ρ y x1 x...x p Koeficient vícenásobné determinace: R = vysvětlený součet čtverců celkový součet čtverců = S T S y = 1 S R S y 0, 1 Upravený (korigovaný) koeficient determinace (Adjusted R-squared): R adj = 1 (1 R ) n 1 n p (bere v úvahu počet parametrů p a rozsah n) 30

31 Intervaly spolehlivosti a testy hypotéz v regresi a korelaci IS pro regresní parametry Koeficient spolehlivosti: (1 α) Bodové odhady β j : b j, j = 0, 1,..., p Krajní body 100(1 α)% IS: b j ± t 1 α (n p 1) s bj s bj směrodatná (standardní) chyba odhadu t 1 α (n p 1) 100(1 α )% kvantil t-rozdělení o (n p 1) stupních volnosti. 31

32 IS pro koeficienty korelace Párový korelační koeficient ρ yx : (a) ρ yx se málo liší od nuly, n > 100 Koeficient spolehlivosti: (1 α) Bodový odhad ρ yx : r yx Krajní body 100(1 α)% IS: r yx ± u 1 α 1 r yx n u 1 α 100(1 α/)% kvantil N (0; 1) (b) ρ yx > 0, 5 n malé Fisherova transformace: z r = 1 ln (1 + r yx) (1 r yx ), Z r N (E(Z r ), D(Z r )) E(Z r ) = 1 ln (1 + ρ yx) (1 ρ yx ) + ρ yx (n 1), D(Z r) = 1 n 3 Krajní body IS (ρ yx /[(n 1)] lze zanedbat): z r ± u 1 α 1 n 3 Parciální koeficient korelace: IS nemají praktické využití 3

33 Testy hypotéz o regresních parametrech Test: H 0 : β j = β 0j j = 0, 1,..., p versus a) H 1 : β j β 0j b) H 1 : β j > β 0j c) H 1 : β j < β 0j Testovací statistika: T = b j β 0j s bj t[n p 1] U = b j β 0j s bj N (0; 1) n p > 30 Kritické obory: a) T > t 1 α (n p 1) U > u 1 α b) T > t 1 α (n p 1) U > u 1 α c) T < t α (n p 1) U < u α 33

34 Celkový F-test o modelu zdroj variability SS DF MS F regresní S T p reziduální S R n p 1 celkový S y n 1 p + 1 počet regresních parametrů p počet vysvětlujících veličin Celkový F-test: S Tp S T /p S R /(n p 1) S R n p 1 H 0 : β 1 = β =... = β p = 0 H 1 : alespoň jeden regresní parametr β j 0 Hladina významnosti: α Testovací statistika: F = S Tp S R (n p 1) F [p; n p 1] Kritický obor: F > F 1 α (p; n p 1) F 1 α (p; n p 1) 100(1 α)% kvantil Fisherova- Snedecorova rozdělení s p a (n p 1) stupni volnosti. 34

35 Testy hypotéz o korelačních koeficientech Párový korelační koeficient ρ yx : Y a X lineárně nezávislé: ρ yx = 0 Test: H 0 : ρ yx = 0 versus a) H 1 : ρ yx 0 b) H 1 : ρ yx > 0 c) H 1 : ρ yx < 0 Testovací statistika: T = U = r xy 1 r n t[n ] xy r xy 1 r n N (0; 1) n > 30 xy Kritické obory: a) T > t 1 α (n ) U > u 1 α b) T > t 1 α (n ) U > u 1 α c) T < t α (n ) U < u α Test: H 0 : ρ yx = ρ 0 (ρ 0 ( 1, 1)) versus a) H 1 : ρ yx ρ 0 b)h 1 : ρ yx > ρ 0 c)h 1 : ρ yx < ρ 0 Testovací statistika: U = Z r z ρ0 n 3 N (0; 1) Kritické obory: a) U > u 1 α b) U > u 1 α c) U < u α 35

36 Koeficient dílčí korelace ρ yx1 x...x p : Test: H 0 : ρ yx1 x...x p = 0 versus nonh 0 Testovací statistika: T = r yx 1 x...x p n p 1 1 r yx1 x...x p t[n p 1] Kritický obor: T > t 1 α/ (n p 1) Koeficient vícenásobné korelace ρ y.x1 x...x p : Test: H 0 : ρ y.x1 x...x p = 0 versus H 1 : ρ y.x1 x...x p > 0 Testovací statistika: F = r y x 1 x...x p (n p 1) (1 r y. x 1 x...x p ) p F [p; n p 1] Kritický obor: F > F 1 α (p; n p 1) 36

37 Korelační analýza a regresní model Výběr nezávislých veličin v regresním modelu Multikolinearita závislost mezi nezávislými (vysvětlujícími proměnnými, regresory) Matice párových korelačních koeficientů R: R = 1 r 1... r 1p r r p r 31 r 3... r 3p r p1 r p... 1 r ij r xi x j i, j = 1,,..., p 37

38 Indikátor multikolinearity: det R neexistuje multikolinearita v praxi vzácné r ij = 0 i j, i, j = 1,,..., p = det R = 1 multikolinearita: r ij 0 i j, i, j = 1,,..., p = 0 det R < 1 úplná multikolinearita v praxi vzácné det R = 0 det R = 0 = alespoň jeden r ij = 1 Neexistuje řešení MNČ Interpretace: alespoň jeden r ij = 1 = všechny hodnoty jedné z vysvětlujících proměnných jsou stejným nenulovým násobkem některé jiné vysvětlující proměnné Důsledek: přidávání dalších vysvětlujících proměnných do modelu není účelné Multikolinearitu považujeme za vysokou: r ij > 0, 75 alespoň pro jeden korelační koeficient 38

39 Určení nejlepší podmnožiny regresorů v regresním modelu Zařazujeme pouze regresory, které výrazně zlepší odhad modelu tak, aby model nebyl zbytečně složitý. Sekvenční F -test ověření správnosti přidání (k + 1)-ní nezávislé proměnné (regresoru) do modelu Sekvenční F -test: H 0 : β k+1 = 0 (x k+1 nepřispívá k vysvětlení variability y) H 1 : β k+1 0 (x k+1 přispívá k vysvětlení variability y) Testovací statistika: F = S T (k+1) S T (k) S R F [1; n k ] n k S T (k+1) S T (k) přírustek regresního součtu čtverců S T po přidání (k + 1)-ní proměnné do modelu S R reziduální součet čtverců v modelu s (k + 1) regresory Kritický obor: F > F 1 α (1; n k ) 39

40 Metoda Stepwise (krokovací metoda) 1. metoda dopředná (forward) postupné přidávání přínosných regresorů do modelu. metoda zpětná (backward) postupné odstraňování nepřínosných regresorů z modelu 40

41 Maticový přístup k lineární regresi Regresní model lineární v parametrech i v nezávislých proměnných Předpoklady: M1. (Y 1, Y,, Y n ) náhodné veličiny M. X matice daných čísel (n (p + 1)), p + 1 < n X = 1 x x 1p x n1... x np M3. Pro náhodný vektor Y = (Y 1, Y,, Y n ) T platí: β = (β 0, β,..., β p ) T Y = Xβ + ɛ vektor neznámých parametrů ɛ = (ɛ 1, ɛ,..., ɛ n ) T vektor náhodných veličin: E(ɛ) = 0, Σ ɛ = σ I 41

42 Odhady regresních parametrů β Xβ nenáhodný vektor Z M3. = E(Y) = Xβ, Σ Y = σ I b = (b 0, b 1,..., b p ) T odhad β = (β 0, β,..., β p ) T Předpoklady: y = (y 1, y,..., y n ) T pozorovaná hodnota Y h(x) = p + 1 = X T X regulární matice Metoda nejmenších čtverců: minimalizace S(β) = (y Xβ) T (y Xβ) Řešení: b = (X T X) 1 X T y E(b)= β b nestranný odhad β Σ b = σ (X T X) 1 kovarianční matice β 4

43 Příklad (vícenásobná lineární regrese) Byly sledovány výdaje Y (v tisících) za potraviny a nápoje u jednotlivých domácností v závislosti na počtu členů domácnosti X 1 a na celkovém čistém příjmu domácnosti X (v tisících). V tabulce jsou uvedeny údaje o 7 náhodně vybraných domácnostech. Výdaje (Y )(v tisících) Počet členů (X 1 ) Čistý příjem (X ) (v tisících) a) Určete regresní rovnici závislosti výdajů za potraviny a nápoje na uvažovaných regresorech. b) Který regresor má větší vliv na výdaje za potraviny a nápoje? c) Vypočítejte parciální korelační koeficient mezi výdaji za potraviny a nápoje a čistými příjmy domácností při konstantním počtu členů domácnosti. d) Vypočítejte parciální korelační koeficient mezi výdaji za potraviny a nápoje a počtem členů domácnosti při konstantní výši čistého příjmu domácnosti. e) Pomocí metody stepwise-forward vyberte vhodnou podmnožinu regresorů (nezávislých proměnných). f) Pomocí metody stepwise-backward vyberte vhodnou podmnožinu regresorů (nezávislých proměnných). 43