Regresní analýza. Statistika II. Jiří Neubauer. Katedra ekonometrie FEM UO Brno kancelář 69a, tel

Transkript

1 Statistika II Katedra ekonometrie FEM UO Brno kancelář 69a, tel

2 Cíl regresní analýzy: stanovení formy (trendu, tvaru, průběhu) této závislosti pomocí vhodné funkce vystihnout pomocí regresní funkce průběh (trend) závislosti mezi X a Y na základě znalosti dvojic empirických hodnot [x i, y i], kde i = 1, 2,..., n.

3 Regresní přímka Princip regresní analýzy nejdříve vysvětlíme na jednoduchém modelu dvou náhodných veličin X a Y, kde Y bude vysvětlovaná proměnná a X bude vysvětlující proměnná (regresor). Budeme předpokládat, že mezi vysvětlovanou proměnnou Y a vysvětlující proměnnou X platí přibližně lineární vztah. Měření nebo pozorování veličiny Y může být zatíženo náhodnou chybou e. Y = β 1 + β 2X + e, kde β 1, β 2 jsou neznámé parametry (neznámé reálné konstanty), Y a e jsou náhodné veličiny a X je daná reálná proměnná. Dále předpokládáme, že při hodnotách x 1, x 2,..., x n proměnné X pozorujeme hodnoty y 1,..., y n proměnné Y zatížené chybami e 1,..., e n. Pozorování vyhovují modelu y i = β 1 + β 2x i + e i, i = 1,..., n.

4 Regresní přímka O chybách e 1,..., e n předpokládáme, že jsou to nezávislé náhodné veličiny, že jsou nesystematické, tj. střední hodnota Ee i = 0, a homogenní, tj. že mají stejný rozptyl De i = σ 2, i = 1,..., n. Cílem je najít odhad parametrů β 1, β 2 a σ 2. Použijeme k tomu metodu nejmenších čtverců. Označíme S 2 (β 1, β 2) = ei 2 = (y i (β 1 + β 2x i)) 2 součet čtverců náhodných chyb e i a odhady β 1, β 2 parametrů β 1, β 2 stanovíme tak, aby součet čtverců chyb S 2 (β 1, β 2) nabyl minimální možné hodnoty.

5 Regresní přímka Z matematiky je známo, že nutnou podmínkou pro existenci extrému funkce dvou a více proměnných je nulovost prvních parciálních derivací, tj. v našem případě S 2 (β 1, β 2) = S 2 (β 1, β 2) = 0, β 1 β 2 podmínku postačující pro minimum nemusíme vyšetřovat, neboť funkce S(β 1, β 2) je ryze konvexní. Dostáváme tedy S 2 (β 1, β 2) β 1 = 2 S 2 (β 1, β 2) β 2 = 2 (y i β 1 β 2x i)( 1) = 0, (y i β 1 β 2x i)( x i) = 0. odkud získáme tzv. soustavu normálních rovnic β 1n + β 2 x i = y i, β 1 x i + β 2 x 2 i = x iy i.

6 Regresní přímka Obrázek: přímka

7 Regresní přímka Vyřešíme-li tuto soustavu (např. Cramerovým pravidlem), obdržíme odhady parametrů n n β 1 = yi x i 2 n n xi xiyi n n x i 2 ( n ) 2, β 2 = n n xiyi n n xi yi xi n n x i 2 ( n ) 2. xi Tyto odhady lze také vyjádřit ve tvaru β 1 = y β 2x = y sxy s 2 x x, β2 = sxy, sx 2 kde x = 1 n n xi a y = 1 n n yi jsou výběrové průměry, sx 2 = 1 n n 1 (xi x)2 je výběrový rozptyl a s xy = 1 n n 1 (xi x)(yi y) je výběrová kovariance.

8 Regresní přímka Přímku o rovnici Ŷ = β 1 + β 2X nazýváme regresní přímkou, β 1, β2 jsou tzv. regresní koeficienty. Vypočtené regresní koeficienty β 1, β2 jsou nevychýlenými odhady neznámých parametrů β 1, β 2. Dále hodnota ŷ i = β 1 + β 2x i je predikovaná hodnota y v bodě x i a veličiny ê i = y i ŷ i = y i β 1 β 2x i nazýváme rezidua. Dále platí, že minimální hodnota součtu čtverců S 2 (β 1, β 2) je rovna S e = S 2 ( β1, β2 ) = êi 2 = (y i ŷ i) 2 = y 2 i β 1 y i β 2 x iy i. S e nazýváme reziduální součet čtverců. Je možné ukázat (viz Anděl (2003)), že veličina s 2 = 1 n 2 Se je nevychýleným odhadem rozptylu σ2, a tedy platí E(s 2 ) = σ 2.

9 Regresní přímka příklad Následující tabulka udává informaci o teplotě (ve stupních Celsia) v jednom městě a množství zmrzliny (v kilogramech) prodaných v osmi náhodně vybraných cukrárnách. teplota zmrzlina Vysvětlovanou proměnnou je v tomto případě množství zmrzliny, vysvětlující proměnnou potom teplota ve městě. Metodou nejmenších čtverců odhadneme parametry regresní přímky ŷ = 71, ,918x.

10 Regresní přímka příklad Obrázek: Regresní přímka závislost množství prodané zmrzliny na teplotě

11 Zobecníme předchozí výsledky a budeme předpokládat, že je potřeba modelovat nějakou sledovanou (hůře dostupnou či nesnadno měřitelnou) náhodnou veličinu Y (tzv. vysvětlovaná veličina nebo odezva) pomocí jiných snáze dostupných veličin X 1, X 2,..., X k (nazývaných vysvětlující proměnné nebo regresory). Vyjdeme ze situace, kdy příslušná statistická data obsahují n nezávislých pozorování vysvětlované proměnné Y a odpovídajících n pozorování každého z regresorů X 1, X 2,..., X k. Budeme předpokládat, že i-té pozorování vysvětlované proměnné Y lze modelovat rovnicí: kde y i = β 1x i1 + β 2x i2 + + β k x ik + e i, (1) 1. y i je i-té pozorování Y, i = 1,..., n, 2. x ij je i-té pozorování regresoru X j, i = 1,..., n, j = 1,..., k, 3. β j, j = 1,..., k, jsou neznámé parametry, 4. e i, i = 1,..., n, jsou neznámé náhodné chyby, které vznikají při pozorování vysvětlované proměnné Y a které nemůžeme přímo pozorovat ani měřit.

12 Přitom dále předpokládáme, že x ij jsou pevně dané známé reálné hodnoty a veličiny Y i a e i jsou náhodného charakteru (náhodné veličiny). Na jejich pravděpodobnostní rozdělení klademe následující předpoklady: (P1) Střední hodnota Ee i = 0, i = 1,..., n, tj. náhodné chyby jsou nesystematické. (P2) Rozptyl De i = σ 2, i = 1,..., n, tj. náhodné chyby jsou homogenní se stejným neznámým rozptylem σ 2. (P3) Kovariance C(e i, e l ) = 0, i l, nekorelované. i, l = 1,..., n, tj. náhodné chyby jsou Model daný rovnicí (1) spolu s předpoklady (P1), (P2), (P3) se nazývá lineární regresní model (LRM) 1. Funkci, která popisuje závislost vysvětlované proměnné Y na regresorech X 1, X 2,..., X k pak nazýváme regresní funkcí. 1 Často se v lineárním regresním modelu předpokládá, že první regresor je konstanta, potom pozorované hodnoty x i1 = 1, i = 1,..., n a model má tvar y i = β 1 + β 2x i2 + + β k x ik + e i.

13 Odhad parametrů v lineárním regresním modelu (1) provedeme opět metodou nejmenších čtverců. Model nejdříve zapíšeme v maticovém tvaru. Označme: y 1 e 1 β y 2 Y =., e = e 2 x 11 x 1 1k., X = β 2, β =. x y n e n1 x nk n β k. Pak model (1) lze vyjádřit jednoduchým zápisem Y = Xβ + e. Odhad neznámých parametrů pak stanovíme řešením soustavy lineárních rovnic X Xβ = X Y tzv. normální rovnice.

14 Jejich řešení snadno nalezneme za předpokladu, že matice X X je regulární a tedy existuje inverzní matice (X X) 1. Za tohoto předpokladu říkáme, že model je plné hodnosti. V modelu plné hodnosti lze řešení normálních rovnic zapsat ve tvaru β = ( X X ) 1 X Y. Pro reziduální součet čtverců zapsaný v maticovém tvaru pak dostaneme vyjádření S e = (Y X β) (Y X β) = Y Y β X Y. Dále budeme pracovat jenom s modely plné hodnosti.

15 regresní parabola Uvedeme nyní dva příklady lineárních regresních modelů: regresní paraboly a modelu se dvěma lineárními regresory. Nejprve budeme uvažovat model, kdy vysvětlovaná proměnná Y je kvadratickou funkcí vysvětlující proměnné X, tvaru: y i = β 1 + β 2x i + β 3xi 2 + e i, i = 1,..., n. Zřejmě jde o speciální případ LRM (lineárního vzhledem k neznámým parametrům β 1, β 2, β 3). V maticovém zápisu tohoto modelu je: 1 x 1 x x 2 x2 2 n n n X =..., xi x i 2 X X = n n xi x 2 n i x i 3 n 1 x n xn 2 x i 2 n x i 3, n x i 4 n X yi Y = n xiy i. n x i 2 y i

16 regresní parabola Za předpokladu, že model je plné hodnosti, lze odhad β vektoru β získat řešením rovnic X Xβ = X Y ve tvaru β = (X X) 1 X Y. Potom lze reziduální součet čtverců S e vyjádřit ve tvaru S e = y i β 1 y i β 2 x iy i β 3 x 2 i y i a odhad rozptylu σ 2 je s 2 = S e/(n 3).

17 regresní parabola Příklad. U automobilu Trabant se měřila spotřeba paliva v litrech na 100 km (Y ) v závislosti na jeho rychlosti (X ). Rychlost Spotřeba 6,1 5,8 6,0 6,5 6,8 8,1 10,0 Odhadnutá parabolická regresní funkce má tvar ŷ = 11, ,20726x + 0,001917x 2.

18 regresní parabola Obrázek: závislost spotřeby paliva na rychlosti

19 dva lineární regresory Předpokládejme, že vysvětlovaná proměnná Y může záviset na dvou regresorech X a Z (používáme označení X místo X 1 a Z místo X 2, které je v aplikacích tohoto typu časté). K dispozici je n nezávislých pozorování veličiny Y při daných n hodnotách veličin X a Z. Vyjdeme z modelu y i = β 1 + β 2x i + β 3z i + e i, i = 1,..., n, který je speciálním případem obecného lineárního regresního modelu Y = Xβ + e.

20 dva lineární regresory Matice v modelu mají tvar 1 x 1 z 1 1 x 2 z 2 X =... 1 x n z n, X X = X Y = n xi n zi n n n xi x i 2 n xizi n n n zi xizi z 2 n yi n xiy i n ziyi. i, Pak užitím metody nejmenších čtverců dostaneme odhad β = (X X) 1 X Y.

21 dva lineární regresory Příklad. Výrobce nealkoholických nápojů má zájem analyzovat potřebný čas k servisu (doplnění lahví případně malý servis zařízení) automatů na výdej lahví s těmito nápoji. Celkovou dobu doplnění lahví je třeba predikovat pomocí dvou dostupných proměnných: počet lahví, které je třeba doplnit do automatu, a vzdálenost, kterou musí údržbář ujít. Vysvětlovanou proměnnou je v tomto případě celkový čas, vysvětlující proměnné jsou počet doplněných lahví a vzdálenost. čas 16,68 11,5 12,03 14,88 13,75 18, ,83 79,24 21,5 počet lahví vzdálenost čas 40, ,5 19, , ,5 35,1 počet lahví vzdálenost čas 17,9 52,32 18,75 19,83 10,75 počet lahví vzdálenost

22 dva lineární regresory Metodou nejmenších čtverců získáme odhad regresní funkce ŷ = 2, ,616x + 0,014z. Obrázek: Regrese se dvěma lineárními regresory závislost času potřebného na servis na počtu případů doplňování automatu a vzdálenosti, kterou musí údržbář ujít

23 Volba regresní funkce Některé typy lineárních regresních funkcí: přímková regrese Y = β 1 + β 2X, hyperbolická regrese Y = β 1 + β 2 X, logaritmická regrese Y = β 1 + β 2 ln X, parabolická regrese Y = β 1 + β 2X + β 3X 2 polynomická regrese Y = β 1 + β 2X + + β px p Některé typy nelineárních regresních funkcí: exponenciální regrese Y = β 1β X 2, mocninná regrese Y = β 1X β 2.