odpovídá jedna a jen jedna hodnota jiných

Podobné dokumenty
Testování hypotéz o parametrech regresního modelu

Testování hypotéz o parametrech regresního modelu

1 Tyto materiály byly vytvořeny za pomoci grantu FRVŠ číslo 1145/2004.

Regresní analýza 1. Regresní analýza

Bodové a intervalové odhady parametrů v regresním modelu

Regresní analýza. Ekonometrie. Jiří Neubauer. Katedra ekonometrie FVL UO Brno kancelář 69a, tel

Inovace bakalářského studijního oboru Aplikovaná chemie

Regresní a korelační analýza

Statistika. Regresní a korelační analýza Úvod do problému. Roman Biskup

Korelační a regresní analýza

Statistická analýza jednorozměrných dat

Regresní analýza. Eva Jarošová

Regresní a korelační analýza

Statistická analýza jednorozměrných dat

Regresní a korelační analýza

AVDAT Geometrie metody nejmenších čtverců

LINEÁRNÍ REGRESE. Lineární regresní model

AVDAT Klasický lineární model, metoda nejmenších

Regresní a korelační analýza

Kontingenční tabulky, korelační koeficienty

INDUKTIVNÍ STATISTIKA

4EK211 Základy ekonometrie

MÍRY ZÁVISLOSTI (KORELACE A REGRESE)

Tomáš Karel LS 2012/2013

Bodové a intervalové odhady parametrů v regresním modelu

Cvičící Kuba Kubina Kubinčák Body u závěrečného testu

Závislost obsahu lipoproteinu v krevním séru na třech faktorech ( Lineární regresní modely )

Regresní a korelační analýza

Stanovení manganu a míry přesnosti kalibrace ( Lineární kalibrace )

Statistická analýza jednorozměrných dat

PRAVDĚPODOBNOST A STATISTIKA

5EN306 Aplikované kvantitativní metody I

KGG/STG Statistika pro geografy

4ST201 STATISTIKA CVIČENÍ Č. 10

KGG/STG Statistika pro geografy

Regresní a korelační analýza

MĚŘENÍ STATISTICKÝCH ZÁVISLOSTÍ

Pravděpodobnost a matematická statistika Doc. RNDr. Gejza Dohnal, CSc.

Statistika (KMI/PSTAT)

7. Analýza rozptylu.

Příloha č. 1 Grafy a protokoly výstupy z adstatu

Základy lineární regrese

Měření závislosti statistických dat

Pravděpodobnost a matematická statistika Doc. RNDr. Gejza Dohnal, CSc. dohnal@nipax.cz

6. Lineární regresní modely

AVDAT Nelineární regresní model

AVDAT Výběr regresorů v mnohorozměrné regresi

Kontingenční tabulky, korelační koeficienty

4EK211 Základy ekonometrie

Statistické metody v marketingu. Ing. Michael Rost, Ph.D.

4EK211 Základy ekonometrie

PRAVDĚPODOBNOST A STATISTIKA

6. Lineární regresní modely

Tomáš Karel LS 2012/2013

Korelační a regresní analýza. 1. Pearsonův korelační koeficient 2. jednoduchá regresní analýza 3. vícenásobná regresní analýza

You created this PDF from an application that is not licensed to print to novapdf printer (

VÍCEROZMĚRNÝ STATISTICKÝ SOUBOR

RNDr. Eva Janoušová doc. RNDr. Ladislav Dušek, Dr.

12. cvičení z PST. 20. prosince 2017

PRAVDĚPODOBNOST A STATISTIKA

PRAVDĚPODOBNOST A STATISTIKA

STATISTIKA A INFORMATIKA - bc studium OZW, 1.roč. (zkušební otázky)

4EK211 Základy ekonometrie

Pravděpodobnost a matematická statistika Doc. RNDr. Gejza Dohnal, CSc.

Náhodné veličiny jsou nekorelované, neexistuje mezi nimi korelační vztah. Když jsou X; Y nekorelované, nemusí být nezávislé.

1 Tyto materiály byly vytvořeny za pomoci grantu FRVŠ číslo 1145/2004.

II. Statistické metody vyhodnocení kvantitativních dat Gejza Dohnal

V praxi pracujeme s daty nominálními (nabývají pouze dvou hodnot), kategoriálními (nabývají více

6. Lineární regresní modely

Testování statistických hypotéz

POLYNOMICKÁ REGRESE. Jedná se o regresní model, který je lineární v parametrech, ale popisuje nelineární závislost mezi proměnnými.

4EK211 Základy ekonometrie

UNIVERZITA PARDUBICE Fakulta chemicko-technologická Katedra analytické chemie Nám. Čs. Legií 565, Pardubice

ANOVA. Semestrální práce UNIVERZITA PARDUBICE. Fakulta chemicko-technologická Katedra analytické chemie

Semestrální práce. 2. semestr

6. Lineární regresní modely

10. Předpovídání - aplikace regresní úlohy

(motto: An unsophisticated forecaster uses statistics as a drunken man uses lamp-posts - for support rather than for illumination.

Matematické modelování Náhled do ekonometrie. Lukáš Frýd

Pravděpodobnost a matematická statistika

13.1. Úvod Cílem regresní analýzy je popsat závislost hodnot znaku Y na hodnotách

Zápočtová práce STATISTIKA I

Interpolace, aproximace

Univerzita Pardubice SEMESTRÁLNÍ PRÁCE. Tvorba lineárních regresních modelů. 2015/2016 RNDr. Mgr. Leona Svobodová, Ph.D.

Analýza rozptylu. Ekonometrie. Jiří Neubauer. Katedra kvantitativních metod FVL UO Brno kancelář 69a, tel

Parametry hledáme tak, aby součet čtverců odchylek byl minimální. Řešením podle teorie je =

Lineární a logistická regrese

MATEMATICKÉ PRINCIPY VÍCEROZMĚRNÉ ANALÝZY DAT

1 Tyto materiály byly vytvořeny za pomoci grantu FRVŠ číslo 1145/2004.

Sever Jih Západ Plechovka Točené Sever Jih Západ Součty Plechovka Točené Součty

VYBRANÉ DVOUVÝBĚROVÉ TESTY. Martina Litschmannová

6. Lineární regresní modely

Normální (Gaussovo) rozdělení

Univerzita Pardubice Fakulta chemicko technologická Katedra analytické chemie Licenční studium Management systému jakosti

Technická univerzita v Liberci

Porovnání dvou výběrů

Pravděpodobnost a matematická statistika Doc. RNDr. Gejza Dohnal, CSc.

JEDNOVÝBĚROVÉ TESTY. Komentované řešení pomocí programu Statistica

Kanonická korelační analýza

Transkript:

8. Regresní a korelační analýza Problém: hledání, zkoumání a hodnocení souvislostí, závislostí mezi dvěma a více statistickými znaky (veličinami). Typy závislostí: pevné a volné Pevná závislost každé hodnotě jedné veličiny odpovídá jedna a jen jedna hodnota jiných veličin (většinou v teoretické oblasti) Volná závislost hodnotám jedné veličiny odpovídají různé hodnoty jiné veličiny při změnách hodnot těchto veličin se projevuje určitá obecná tendence (v praktických situacích) Statistická závislost volná závislost mezi kvantitavními veličinami Metody regresní a korelační analýzy slouží k poznání, matematickému popisu stat. závislostí a k hodnocení závěrů o vztahu zkoumaných veličin. Jednostranné závislosti regresní analýza zkoumání obecné tendence ve změnách závislé veličiny vzhledem ke změnám nezávislých vel. Vzájemné závislosti korelační analýza důraz na sílu vzájemného vztahu mezi vel. 1

Lineární rovnice s jednou nezávislou proměnnou Obecný tvar lineární rovnice s jednou nezávislou proměnnou y = b 0 + b 1 x b 0 a b 1 konstanty x nezávislá veličina, y - závislá veličina Graf lineární rovnice s 1 nezávislou proměnnou přímka; každá přímka, která není kolmá na osu x Geometrická interpretace b 0, b 1 b 0 y-úsek (intercept) b 1 směrnice (slope): indikuje změnu y-hodnoty, která je způsobena změnou x-hodnoty o jednu jednotku

Předpoklady: 8.1 Regresní přímka X nezávislá (vysvětlující) veličina (proměnná), regresor Y závislá (vysvětlovaná) veličina (proměnná) náhodná veličina P1. Teoretická regresní přímka: přímka y = β 0 + β 1 x : x E(Y X = x) = β 0 + β 1 x P. Shodné směrodatné odchylky: σ(y X = x) = σ(y ) x P3. Normalita: x Y N- rozdělení If β 0, β 1 a σ : x Y N(β 0 + β 1 x, σ ) = P1 P3 splněny Předpoklady P1, P, P3 model regresní přímky Symbolické vyjádření: ɛ N[0; σ ] Y = β 0 + β 1 X + ɛ = η + ɛ β 0, β 1 parametry (koeficienty) regresní přímky 3

Výběrová (empirická) regresní přímka x 1, x,, x n pozorované hodnoty veličiny X y 1, y,, y n pozorované hodnoty i.i.d. náh. v. Y 1, Y,, Y n, Y i N(β 0 + β 1 x i, σ ) y i = β 0 + β 1 x i + ɛ i, η i = E(Y i X = x i ) = β 0 + β 1 x i β 0, β 1, σ obecně neznámé Cíl: Odhadnout β 0, β 1, σ na základě dvojic dat (x i, y i ), i = 1,,..., n b 0 a b 1 - bodové odhady parametrů β 0 a β 1 ŷ = b 0 +b 1 x výběrová (empirická) regresní přímka odhad teoretické regresní přímky Reziduum: e i = y i ŷ i n i=1 e i = 0 e i odhad hodnoty náhodné veličiny ɛ i Reziduální součet čtverců: S R = n i=1 e i = n i=1 (y i ŷ i ) 4

Bodové odhady parametrů β 0 a β 1 Kritérium: Minimalizace součtu čtverců S R S R = S(β 0, β 1 ) = n i=1 [y i (β 0 + β 1 x i )] Nutná podmínka pro minimum ryze konvexní funkce S(β 0, β 1 ) dvou proměnných β 0, β 1 : S β 0 β0 =b 0,β 1 =b 0 = n S β 1 β0 =b 0,β 1 =b 0 = n Systém normálních rovnic b 0 nb 0 + b 1 x i = n i=1 n i=1 x i + b 1 i=1 (y i b 0 b 1 x i ) = 0 n i=1 (y i b 0 b 1 x i )x i = 0 n i=1 y i i=1 x i = n i=1 x iy i Řešení: b 1 = n i=1 x i y i n xȳ n i=1 x i n x = s xy s x b 0 = ȳ b 1 x Výběrová regresní přímka: ŷ = b 0 + b 1 x = ȳ b 1 x + b 1 x = ȳ b 1 (x x) = ȳ b yx (x x) 5

Bodový odhad rozptylu σ Předpoklady: P1 P3 pro model regresní přímky Bodový odhad σ: s R s R = S R n, S R = n i=1 (y i ŷ i ) Směrodatná chyba odhadu rozptylu σ (reziduální směrodatná odchylka) (standard error of estimate) s R = S R n Interpretace s R : vyjadřuje jak se v průměru hodnota ŷ veličiny Y liší od pozorované hodnoty y 6

Rozdělení odhadů b 0, b 1 a ŷ b 0 β 0 s b0 t[n ]; b 1 β 1 s b1 t[n ]; ŷ i η i sŷ t[n ] s b0, s b1 směrodatné chyby odhadů b 0 a b 1 s b 0 = s R 1 n + x n i=1 (x i x) = s R x n i=1 (x i x) x = 1 n s b 1 = s R n i=1 x i 1 n i=1 (x i x) sŷ chyba regresní přímky pro i-té pozorování y i sŷ = s R (x i x) n i=1 (x i x) Pro n > 30 lze použít aproximaci N[0; 1]-rozdělením b 0 β 0 s b0 N[0; 1]; b 1 β 1 s b1 N[0; 1]; ŷ i η i sŷ N[0; 1] 7

Intervaly spolehlivosti pro β 0, β 1, η i Předpoklady: P1 P3 pro model regresní přímky Koeficient spolehlivosti: (1 α) Bodové odhady β 0, β 1, η i : b 0, b 1, ŷ i Krajní body 100(1 α)% intervalu spolehlivosti: b 0 ± t 1 α (n ) s b0 b 1 ± t 1 α (n ) s b1 ŷ i ± t 1 α (n ) sŷi i = 1,..., n s bi směrodatná (standardní) chyba odhadu b i, i = 0, 1 sŷi chyba regresní přímky pro i-té pozorování y i t 1 α (n ) 100(1 α/)% kvantil Studentova t-rozdělení s (n ) stupni volnosti 8

Testy hypotéz o parametrech β 0, β 1 Individuální t-test : H 0 : β i = 0 versus H 1 : β i 0 i = 0, 1 Testovací statistika: Kritický obor: T i = b i s bi t[n ] T i > t 1 α (n ) s bi směrodatná (standardní) chyba odhadu b i, i = 0, 1 t 1 α (n ) 100(1 α/)% kvantil Studentova t-rozdělení s (n ) stupni volnosti 9

Odhad a předpověd (predikce) Využití výběrové regresní přímky: pro odhad střední hodnoty závislé veličiny Y odpovídající určité hodnotě nezávislé veličiny X pro předpověd individuální hodnoty veličiny Y odpovídající určité hodnotě nezávislé veličiny X x P určitá hodnota nezávislé veličiny X ŷ P = b 0 + b 1 x P předpověd hodnoty y P veličiny Y pro X = x P E(Y X = x P ) střední hodnota Y na úrovni x P Bodový odhad E(Y X = x P ) : b 0 + b 1 x P Bodový odhad střední hodnoty Y na úrovni x P shodný s předpovědí individuální hodnoty y P. je 10

Interval spolehlivosti pro E(Y X = x P ) t-rozdělení pro IS v regresi T = ŶP (β 0 + β 1 x P ) 1 s R n + t[n ] (x P x) n i=1 (x i x) Předpoklady: P1 P3 pro model regresní přímky Koeficient spolehlivosti: (1 α) Bodový odhad E(Y X = x P ) : b 0 + b 1 x P Krajní body IS pro E(Y X = x P ): ŷ p ± t 1 α (n ) s R 1 n + (x p x) n i=1 (x i x) s R = S R n reziduální rozptyl t 1 α (n ) 100(1 α/)% kvantil Studentova t-rozdělení s (n ) stupni volnosti 11

Interval spolehlivosti pro y P IS pro y P interval předpovědi (predikce) pro y P (IP) t-rozdělení pro IP v regresi T = Y P ŷ P 1 s R + 1 n + t[n ] (x P x) n i=1 (x i x) Předpoklady: P1 P3 pro model regresní přímky Koeficient spolehlivosti: (1 α) Předpověd hodnoty veličiny Y pro hodnotu x P veličiny X: ŷ p = b 0 + b 1 x p Krajní body IS pro hodnotu y P na úrovni x P : ŷ P ± t 1 α (n ) s R 1 + 1 n + (x P x) n i=1 (x i x) IP je širší než IS 1

8. Kvalita regresní přímky a intenzita závislostí Korelace a regrese Korelační model: Y a X náhodné veličiny Regresní model: Y náhodná Regresní model širší uplatnění Korelační koeficient r xy (výběrový): popisná míra síly lineárního (přímkového) vztahu mezi dvěma proměnnými r xy = s xy s x s y = s yx s y s x = r yx 1, 1 Regresní parametr b 1 a korelační koeficient r yx b 1 = s xy, r s yx = s xy s y = b 1 = r yx x s x s y s x b 1 = 0 r yx = 0 Pro teoretické hodnoty platí: β 1 = 0 ρ yx = 0 13

Vysvětlený a nevysvětlený součet čtverců (x i, y i ), i = 1,..., n pozorované hodnoty X a Y Pro odchylky platí: (y i ȳ) = (ŷ i ȳ) + (y i ŷ i ) celková = vysvětlená + nevysvětlená odchylka odchylka odchylka Pro součet čtverců platí: n i=1 (y i ȳ) = n i=1 (ŷ i ȳ) + n i=1 (y i ŷ i ) celkový = vysvětlený + nevysvětlený součet součet součet čtverců čtverců čtverců Vysvětlený součet čtverců je vysvětlen regresorem (veličinou X): n i=1 (y i ȳ) = b n 1 i=1 (x i x) + n i=1 (y i ŷ i ) celkový = součet čtverců + nevysvětlený součet vysvětlený (reziduální) čtverců z X součet čtverců 14

Regresní identita Celkový součet čtverců: S y = n (y i ȳ) i=1 Reziduální součet čtverců: S R = n (y i ŷ i ) i=1 Regresní součet čtverců: S T = n (ŷ i ȳ) i=1 Regresní identita: S y = S R + S T Výpočetní vzorce pro součty čtverců Celkový součet čtverců: S y = n i=1 y i ( n i=1 y i ) /n Regresní součet čtverců: S T = [ n i=1 x i y i ( n i=1 x i ) ( n i=1 y i ) /n] [ n i=1 x i ( n i=1 x i ) /n] Reziduální součet čtverců: S R = S y S T 15

Regresní t-test H 0 : β 1 = 0 H 1 : β 1 0 Test významnosti parametru β 1 užitečnosti X pro Y rozhodování o Jestliže β 1 = 0 = η = E(Y ) = β 0, D(Y ) = σ η, D(Y ) nezávisí na X = X neposkytuje žádnou informaci o rozdělení Y = neexistuje lineární vztah mezi X a Y Regresní t-test H 0 : β 1 = 0 versus H 1 : β 1 0 Testovací statistika: Kritický obor: T = b 1 s b1 t[n ] T > t 1 α (n ) s b1 směrodatná (standardní) chyba odhadu t 1 α (n ) 100(1 α/)% kvantil Studentova t-rozdělení s (n ) stupni volnosti 16

Analýza rozptylu regresní přímka Zdroj variability SS Df MS F S Vysvětlený (regresí) S T 1 T1 Nevysvětlený S R n Celkový S y n 1 S R n S T S R n F = rozptyl vysvětlený regresí nevysvětlený rozptyl = b 1 n i=1 (x i x) s R F-test analýzy rozptylu alternativní způsob testování hypotézy H 0 : β 1 = 0 (X nemá žádný vztah k Y ) H 1 : β 1 0 Hladina významnosti: α Testovací statistika: Kritický obor: F = S T1 S R n F [1; n ] F > F 1 α (1; n ) F 1 α (1; n ) 100(1 α)% kvantil Fisherova- Snedecorova rozdělení s 1 a (n ) stupni volnosti 17

Rovnocenné způsoby testování hypotézy: H 0 : β 1 = 0 H 1 : β 1 0 Regresní t-test F -test analýzy rozptylu Test nulovosti korelačního koeficientu ρ = 0 Rovnocennost regresního t-testu a F -testu: H 0 : β 1 = 0 H 1 : β 1 0 Vztah mezi F -statistikou a T -statistikou: F = b n 1 i=1 (x i x) s R = b 1 s R/ n i=1 (x i x) = b 1 s R = T Vztah mezi kvantily F [ν 1 ; ν ] a t[ν ]- rozdělení: Pro ν 1 = 1, ν libovolné, α platí: F 1 α (1, ν ) = t 1 α/(ν ) Výhoda t-testu možnost sestrojit IS pro β 1 18

Koeficient (index) determinace Koeficient determinace (v regresní analýze také název index determinace I )(Coefficient of determination, R-squared): R = vysvětlený součet čtverců celkový součet čtverců = S T S y = 1 S R S y 0, 1 R = R index korelace R charakteristika kvality regresního modelu: udává jakou část celkové variability lze vysvětlit zvoleným regresním modelem poměrné snížení celkového součtu čtverců chyb, kterého docílíme použitím regresní rovnice místo aritmetického průměru Interpretace: R blízké 0 naznačuje, že zvolená regresní funkce není příliš vhodná pro popis vztahu X a Y R blízké 1 naznačuje, že regresní přímka velice dobře vystihuje vztah X a Y 19

8.3 Obecný regresní model X 1, X,, X k nezávislé (vysvětlující) proměnné Y závislá (vysvětlovaná) veličina Regresní funkce: η E(Y ) = f(x 1, x,, x k ; β 0, β 1,..., β p ) x 1, x,..., x k naměřené (dané) hodnoty veličin X 1, X,, X k β 0, β 1,..., β p regresní parametry Y = f(x 1, x,, x k ; β 0, β 1,..., β p ) + ɛ = η + ɛ η deterministická složka ɛ náhodná složka: ɛ N[0; σ] Funkce f: zpravidla známá funkce nebo se předpokládá znalost tvaru fce β 0, β 1,..., β p, σ neznámé parametry 0

Dva základní typy regrese: Jednoduchá regrese - jedna nezávislá veličina (k = 1) η = f(x, β 0, β 1,, β p ) Vícenásobná regrese - více nezávislých veličin (k ) η = f(x 1, x,, x k ; β 0, β 1,..., β p ) 1

Jednoduchá regrese η = f(x, β 0, β 1,, β p ) Lineární regresní funkce lineární z hlediska parametrů η = β 0 + β 1 f 1 (x) + + β p f p (x) β 0, β 1,, β p neznámé regresní parametry f 1, f,, f p známé funkce nezávislé veličiny X Speciální případ: Modely lineární z hlediska parametrů i z hlediska vysvětlujících proměnných Příklady η = β 0 + β 1 x 1 + + β p x p (a) přímková regrese: k = 1, f 1 (x) = x η = β 0 + β 1 x (b) parabolická regrese: f 1 (x) = x, f (x) = x η = β 0 + β 1 x + β x (c) polynomická regrese p-tého stupně: f i (x) = x i, i = 1,,, p η = β 0 + β 1 x + β x + + β p x p

(d) hyperbolická regrese: f 1 (x) = x 1 η = β 0 + β 1 x (e) hyperbolická regrese p-tého stupně: f i (x) = x i, i = 1,,, p η = β 0 + β 1 x + β x + + β p x p (e) logaritmická regrese: k = 1, f 1 (x) = log x η = β 0 + β 1 log x Nelineární regresní funkce nelineární z hlediska parametrů Příklady (α) exponenciální regrese p-tého stupně η = β 0 β f 1(x) 1 β f (x) β f p(x) p (β) exponenciální regrese prvního stupně: p = 1, f 1 (x) = x (γ) mocninná regrese η = β 0 β x 1 η = β 0 x β 1 3

Bodové odhady regresních parametrů y 1, y,, y n n nezávislých pozorování veličiny Y x 1j, x j,, x nj dané hodnoty X j, j = 1,,, k. Metoda nejmenších čtverců: min β 0,...,β p n i=1 [y i f(x 1i, x i,, x ki ; β 0, β 1,..., β p )] b 0 = ˆβ 0, b 1 = ˆβ 1,..., b p = ˆβ p Řešení: v případě regresních funkcí, které nejsou lineární z hlediska parametrů MNČ vede na soustavu nelineárních rovnic iterační algoritmy použití vhodné transformace Příklad: převedení pomocí logaritmické transformace Y = β 0 β f 1(x) 1 β f (x) β f p(x) p na Y = β 0 + β 1 f 1 (x) + + β p f p (x) 4

8.4 Vícenásobná regrese a korelace Vícenásobná lineární regrese Klasický lineární regresní model K1. Tvar regresní funkce: Y = β 0 + β 1 x 1 +... + β p x p + ɛ = η + ɛ K. X 1, X,..., X p nenáhodné, neexistuje mezi nimi lineární funkční vztah x j1, x j,..., x jn dané hodnoty proměnné X j, j = 1,,..., p K3. Rozdělení náhodné složky: ɛ N[0; σ ] K4. y 1, y,, y n pozorované hodnoty náh. veličin Y 1, Y,, Y n Y i = β 0 + β 1 x 1i +... + β p x pi + ɛ i ɛ i N[0; σ ] cov(ɛ i ɛ j ) = 0 i j, i, j = 1,,..., n 5

Odhadnutá regresní funkce: nebo ŷ = b 0 + b 1 x 1 + b x... + b p x p ŷ = b 0 + b yx1 x... x p x 1 + b yx x 1... x p x... + b yxp x 1 x... x p 1 x p Parciální (dílčí) regresní koeficienty: b yx1 x... x p, b yx x 1... x p,..., b yxp x 1 x... x p 1 Interpretace parciálních regresních koeficientů: charakteristiky k posouzení individuálního vlivu jednotlivých vysvětlujících proměnných na závislou proměnnou udávají odhad toho, jak se změnila v průměru závislá proměnná Y při jednotkové změně nezávisle proměnné před tečkou, za předpokladu konstantní úrovně proměnných uvedených za tečkou. 6

Regresní rovina (p=) - (dvojnásobná r.) η = β 0 + β 1 x 1 + β x y 1, y,, y n n nezávislých pozorování veličiny Y x 1j, x j,, x nj dané hodnoty X j, j = 1, Metoda nejmenších čtverců: min β 0,β 1,β n i=1 [y i β 0 β 1 x 1i β x i ] Ze soustavy normálních rovnic dostaneme: ȳ = b 0 + b 1 x 1 + b x b 0 = ˆβ 0, b 1 = ˆβ 1, b = ˆβ Odhadnutá regresní funkce: nebo ŷ = b 0 + b 1 x 1 + b x ŷ = b 0 + b yx1 x x 1 + b yx x 1 x ŷ = ȳ + b yx1 x (x 1 x 1 ) + b yx x 1 (x x ) 7

B-koeficienty (Beta Coefficients) normalizované regresní koeficienty (bezrozměrné charakteristiky) Důvod zavedení: hodnoty parciálních korelačních koeficientů závisí na jednotkách, v jakých jsou vyjádřeny jednotlivé proměnné. Použití: pro srovnání a posouzení individuálního vlivu jednotlivých regresorů na závisle proměnnou. Transformace: ŷ i = ŷi ȳ s y, x ij = x ij x j s xj, i = 1,,..., n, j = 1, Odhadnutá regresní funkce pro p = : ŷ = B yx1 x x 1 + B yx x 1 x B yx1 x, B yx x 1 B-koeficienty Odhady B-koeficientů: MNČ Výpočet z dílčích regresních koeficientů B yx1 x = s x 1 s y b yx1 x = r yx 1 r yx r x1 x 1 r x 1 x B yx x 1 = s x s y b yx. x 1 = r yx r yx1 r x1 x 1 r x 1 x 8

Kvalita a intenzita vícenásobné lineární závislosti Míry těsnosti závislosti Y na X 1, X,..., X p Koeficient dílčí korelace (výběrový) r yx1 x...x p míra intensity lineární závislosti y na x 1 při konstantních x,..., x p r yx1 x...x p odhad ρ yx1 x...x p p = : r yx1 x = b yx1 x b yx x 1 Rekurentní vzorce pro výpočet r yx1 x a r yx x 1 : r yx1 x = r yx1 r yx r x1 x (1 r yx )(1 r x 1 x ) r yx x 1 = r yx r yx1 r x1 x (1 r yx1 )(1 r x 1 x ) p : r yx1 x...x p = r yx 1...x p 1 r yxp x x 3...x p 1 r x1 x p x x 3...x p 1 (1 r yxp x x 3...x p 1 )(1 r x 1 x p x x 3...x p 1 ) 9

Koeficient vícenásobné korelace (výběrový) r y x1 x...x p míra těsnosti lineární závislosti y na všech x 1, x,..., x p dohromady p = : Platí: r y x1 x = 0 r y x1 x...x p 1 r y x1 x...x p > max j=1,,...,p r yxj r yx 1 r yx1 r yx r x1 x + r yx 1 r x 1 x r y x1 x...x p odhad teoretického koef. vícenásobné korelace ρ y x1 x...x p Koeficient vícenásobné determinace: R = vysvětlený součet čtverců celkový součet čtverců = S T S y = 1 S R S y 0, 1 Upravený (korigovaný) koeficient determinace (Adjusted R-squared): R adj = 1 (1 R ) n 1 n p (bere v úvahu počet parametrů p a rozsah n) 30

Intervaly spolehlivosti a testy hypotéz v regresi a korelaci IS pro regresní parametry Koeficient spolehlivosti: (1 α) Bodové odhady β j : b j, j = 0, 1,..., p Krajní body 100(1 α)% IS: b j ± t 1 α (n p 1) s bj s bj směrodatná (standardní) chyba odhadu t 1 α (n p 1) 100(1 α )% kvantil t-rozdělení o (n p 1) stupních volnosti. 31

IS pro koeficienty korelace Párový korelační koeficient ρ yx : (a) ρ yx se málo liší od nuly, n > 100 Koeficient spolehlivosti: (1 α) Bodový odhad ρ yx : r yx Krajní body 100(1 α)% IS: r yx ± u 1 α 1 r yx n u 1 α 100(1 α/)% kvantil N (0; 1) (b) ρ yx > 0, 5 n malé Fisherova transformace: z r = 1 ln (1 + r yx) (1 r yx ), Z r N (E(Z r ), D(Z r )) E(Z r ) = 1 ln (1 + ρ yx) (1 ρ yx ) + ρ yx (n 1), D(Z r) = 1 n 3 Krajní body IS (ρ yx /[(n 1)] lze zanedbat): z r ± u 1 α 1 n 3 Parciální koeficient korelace: IS nemají praktické využití 3

Testy hypotéz o regresních parametrech Test: H 0 : β j = β 0j j = 0, 1,..., p versus a) H 1 : β j β 0j b) H 1 : β j > β 0j c) H 1 : β j < β 0j Testovací statistika: T = b j β 0j s bj t[n p 1] U = b j β 0j s bj N (0; 1) n p > 30 Kritické obory: a) T > t 1 α (n p 1) U > u 1 α b) T > t 1 α (n p 1) U > u 1 α c) T < t α (n p 1) U < u α 33

Celkový F-test o modelu zdroj variability SS DF MS F regresní S T p reziduální S R n p 1 celkový S y n 1 p + 1 počet regresních parametrů p počet vysvětlujících veličin Celkový F-test: S Tp S T /p S R /(n p 1) S R n p 1 H 0 : β 1 = β =... = β p = 0 H 1 : alespoň jeden regresní parametr β j 0 Hladina významnosti: α Testovací statistika: F = S Tp S R (n p 1) F [p; n p 1] Kritický obor: F > F 1 α (p; n p 1) F 1 α (p; n p 1) 100(1 α)% kvantil Fisherova- Snedecorova rozdělení s p a (n p 1) stupni volnosti. 34

Testy hypotéz o korelačních koeficientech Párový korelační koeficient ρ yx : Y a X lineárně nezávislé: ρ yx = 0 Test: H 0 : ρ yx = 0 versus a) H 1 : ρ yx 0 b) H 1 : ρ yx > 0 c) H 1 : ρ yx < 0 Testovací statistika: T = U = r xy 1 r n t[n ] xy r xy 1 r n N (0; 1) n > 30 xy Kritické obory: a) T > t 1 α (n ) U > u 1 α b) T > t 1 α (n ) U > u 1 α c) T < t α (n ) U < u α Test: H 0 : ρ yx = ρ 0 (ρ 0 ( 1, 1)) versus a) H 1 : ρ yx ρ 0 b)h 1 : ρ yx > ρ 0 c)h 1 : ρ yx < ρ 0 Testovací statistika: U = Z r z ρ0 n 3 N (0; 1) Kritické obory: a) U > u 1 α b) U > u 1 α c) U < u α 35

Koeficient dílčí korelace ρ yx1 x...x p : Test: H 0 : ρ yx1 x...x p = 0 versus nonh 0 Testovací statistika: T = r yx 1 x...x p n p 1 1 r yx1 x...x p t[n p 1] Kritický obor: T > t 1 α/ (n p 1) Koeficient vícenásobné korelace ρ y.x1 x...x p : Test: H 0 : ρ y.x1 x...x p = 0 versus H 1 : ρ y.x1 x...x p > 0 Testovací statistika: F = r y x 1 x...x p (n p 1) (1 r y. x 1 x...x p ) p F [p; n p 1] Kritický obor: F > F 1 α (p; n p 1) 36

Korelační analýza a regresní model Výběr nezávislých veličin v regresním modelu Multikolinearita závislost mezi nezávislými (vysvětlujícími proměnnými, regresory) Matice párových korelačních koeficientů R: R = 1 r 1... r 1p r 1 1... r p r 31 r 3... r 3p............ r p1 r p... 1 r ij r xi x j i, j = 1,,..., p 37

Indikátor multikolinearity: det R neexistuje multikolinearita v praxi vzácné r ij = 0 i j, i, j = 1,,..., p = det R = 1 multikolinearita: r ij 0 i j, i, j = 1,,..., p = 0 det R < 1 úplná multikolinearita v praxi vzácné det R = 0 det R = 0 = alespoň jeden r ij = 1 Neexistuje řešení MNČ Interpretace: alespoň jeden r ij = 1 = všechny hodnoty jedné z vysvětlujících proměnných jsou stejným nenulovým násobkem některé jiné vysvětlující proměnné Důsledek: přidávání dalších vysvětlujících proměnných do modelu není účelné Multikolinearitu považujeme za vysokou: r ij > 0, 75 alespoň pro jeden korelační koeficient 38

Určení nejlepší podmnožiny regresorů v regresním modelu Zařazujeme pouze regresory, které výrazně zlepší odhad modelu tak, aby model nebyl zbytečně složitý. Sekvenční F -test ověření správnosti přidání (k + 1)-ní nezávislé proměnné (regresoru) do modelu Sekvenční F -test: H 0 : β k+1 = 0 (x k+1 nepřispívá k vysvětlení variability y) H 1 : β k+1 0 (x k+1 přispívá k vysvětlení variability y) Testovací statistika: F = S T (k+1) S T (k) S R F [1; n k ] n k S T (k+1) S T (k) přírustek regresního součtu čtverců S T po přidání (k + 1)-ní proměnné do modelu S R reziduální součet čtverců v modelu s (k + 1) regresory Kritický obor: F > F 1 α (1; n k ) 39

Metoda Stepwise (krokovací metoda) 1. metoda dopředná (forward) postupné přidávání přínosných regresorů do modelu. metoda zpětná (backward) postupné odstraňování nepřínosných regresorů z modelu 40

Maticový přístup k lineární regresi Regresní model lineární v parametrech i v nezávislých proměnných Předpoklady: M1. (Y 1, Y,, Y n ) náhodné veličiny M. X matice daných čísel (n (p + 1)), p + 1 < n X = 1 x 11..... x 1p.... 1 x n1... x np M3. Pro náhodný vektor Y = (Y 1, Y,, Y n ) T platí: β = (β 0, β,..., β p ) T Y = Xβ + ɛ vektor neznámých parametrů ɛ = (ɛ 1, ɛ,..., ɛ n ) T vektor náhodných veličin: E(ɛ) = 0, Σ ɛ = σ I 41

Odhady regresních parametrů β Xβ nenáhodný vektor Z M3. = E(Y) = Xβ, Σ Y = σ I b = (b 0, b 1,..., b p ) T odhad β = (β 0, β,..., β p ) T Předpoklady: y = (y 1, y,..., y n ) T pozorovaná hodnota Y h(x) = p + 1 = X T X regulární matice Metoda nejmenších čtverců: minimalizace S(β) = (y Xβ) T (y Xβ) Řešení: b = (X T X) 1 X T y E(b)= β b nestranný odhad β Σ b = σ (X T X) 1 kovarianční matice β 4

Příklad (vícenásobná lineární regrese) Byly sledovány výdaje Y (v tisících) za potraviny a nápoje u jednotlivých domácností v závislosti na počtu členů domácnosti X 1 a na celkovém čistém příjmu domácnosti X (v tisících). V tabulce jsou uvedeny údaje o 7 náhodně vybraných domácnostech. Výdaje (Y )(v tisících) 1 9 1 3 18 1 15 Počet členů (X 1 ) 4 4 1 5 3 4 Čistý příjem (X ) (v tisících) 30 4 36 9 45 4 39 a) Určete regresní rovnici závislosti výdajů za potraviny a nápoje na uvažovaných regresorech. b) Který regresor má větší vliv na výdaje za potraviny a nápoje? c) Vypočítejte parciální korelační koeficient mezi výdaji za potraviny a nápoje a čistými příjmy domácností při konstantním počtu členů domácnosti. d) Vypočítejte parciální korelační koeficient mezi výdaji za potraviny a nápoje a počtem členů domácnosti při konstantní výši čistého příjmu domácnosti. e) Pomocí metody stepwise-forward vyberte vhodnou podmnožinu regresorů (nezávislých proměnných). f) Pomocí metody stepwise-backward vyberte vhodnou podmnožinu regresorů (nezávislých proměnných). 43