Statistika II Katedra ekonometrie FVL UO Brno kancelář 69a, tel. 973 442029 email:jiri.neubauer@unob.cz
Lineární regresní model kde Y = Xβ + e, y 1 e 1 β y 2 Y =., e = e 2 x 11 x 1 1k., X =....... β 2, β =.. x y n e n1 x nk n β k Odhady neznámých parametrů metodou nejmenších čtverců jsou dány β = ( X X ) 1 X Y, reziduální součet čtverců je S e = (Y X β) (Y X β) = Y Y β X Y.
Lineární regresní model Předpokládejme nyní, že náhodné chyby e i, i = 1..., n v lineárním regresním modelu mají normální rozdělení s nulovou střední hodnotou a rozptylem σ 2. Potom mají odhady β j, j = 1,..., k regresní koeficientů β j normální rozdělení, tedy platí βj N(β j, D( β j)), kde rozptyly D( β j) jsou dány: D( β 1) = σ 2 v 11, D( β 2) = σ 2 v 22,..., D( β k ) = σ 2 v kk, přičemž v 11, v 22,..., v kk jsou prvky na hlavní diagonále matice (X X) 1. Rozptyly odhadů regresních parametrů odhadneme D( β j) = s 2 e v jj, druhé odmocniny těchto odhadů s( β j) = s 2 e v jj se nazývají směrodatné chyby odhadů regresních parametrů.
Testy významnosti parametrů β j, j = 1,..., k (jejich nenulovosti) jsou založeny na statistikách t = β j β j s( β j), které mají Studentovo rozdělení s n k stupni volnosti. Budeme testovat nulovou hypotézu H: β j = 0 proti alternativní hypotéze A: β j 0. Při platnosti nulové hypotézy má statistika t = β j β j s( β j) = β j 0 s( β j) = β j s( β j) Studentovo rozdělení s n k stupni volnosti. Kritickou hodnotou odpovídající hladině významnosti α je tedy kvantil t 1 α 2 (n k).
Test významnosti regresního modelu Zřejmě platí, že y i y = (y i ŷ i) + (ŷ i y). Lze ukázat, že také platí (y i y) 2 = (y i ŷ i) 2 + (ŷ i y) 2 S Y = S e + S T, kde celkový součet čtverců S Y = Y Y ny 2 S Y = (y i y) 2 = n sn(y), 2 kde sn(y) 2 = 1 n (y i y) 2 reziduální součet čtverců S e = Y Y β X Y S e = (y i ŷ i) 2 = (n k) se 2, kde se 2 = 1 (y i ŷ i) 2 n k teoretický součet čtverců S T = β X Y ny 2 S T = (ŷ i y) 2 = n sn(ŷ), 2 kde sn(ŷ) 2 = 1 n (ŷ i y) 2
Test významnosti regresního modelu Pro regresní přímku ŷ = β 1 + β 2x dostáváme S e = = S T = (y i ŷ i) 2 = y 2 i β 1 (y i β 1 β 2x i) 2 = = y i β 2 (ŷ i ŷ i) 2 = = β 1 y i + β 2 x iy i ( β 1 + β 2x i 1 n ( ) x iy i 1 2 y i n S Y = S R + S T = = y 2 i ( ) 1 2 y i n y 2 i ) = =
Test významnosti regresního modelu teoretický součet čtverců S T je ta část celkového součtu čtverců S Y, která je vysvětlená zvolenou regresní funkcí reziduální součet čtverců S e je ta část celkového součtu čtverců S Y, která zvolenou regresní funkcí vysvětlená není
Test významnosti regresního modelu Při ověřování významnosti regresního modelu (model s konstantou β 1) se testuje nulová hypotéza H: β 2 = β 3 = = β k = 0 proti alternativní hypotéze A: β j 0 pro alespoň jedno j = 2, 3,..., k. Testové kritérium je statistika F = S T (y) k 1 : Se(y) n k, která má při platnosti nulové hypotézy Fisher-Snedecorovo rozdělení F s k 1 a n k stupni volnosti, Kritickou hodnotou je kvantil F 1 α(k 1, n k) daného F rozdělení.
Test významnosti regresního modelu Jsou-li celkový F -test i všechny t-testy jsou statisticky významné, model se považuje za vhodný k vystižení variability proměnné Y (to však ještě neznamená, že je model správně navržen). Jsou-li celkový F -test i všechny t-testy jsou statisticky nevýznamné, model se považuje za nevhodný, protože nevystihuje variabilitu proměnné Y. Je-li celkový F -test statisticky významný, ale některé t-testy vychází nevýznamné, model se považuje za vhodný, ale provádí se zpravidla vypuštění nevýznamných parametrů. Je-li celkový F -test statisticky významný, ale všechny t-testy vychází nevýznamné paradox: formálně model jako celek vyhovuje, ale žádný člen modelu sám o sobě významný není jde o důsledek tzv. multikolinearity, tj. lineární závislosti mezi jednotlivými regresory.
Koeficient (index) determinace Vhodnost zvoleného modelu lze vyjádřit pomocí tzv. indexu (koeficientu) determinace, který je definován jako podíl variability, kterou je schopen popsat regresní model, ku celkové variabilitě vysvětlované proměnné S c(y) = n (yi yi)2 R 2 = S T (y) S c(y) = n (ŷi y)2 n. (yi yi)2 Toto číslo nabývá hodnot z intervalu 0, 1. Čím více se R 2 blíží k 1, tím považujeme danou závislost za silnější, a tedy dobře vystiženou použitým regresním modelem; naopak čím více se bude blížit k 0, tím považujeme danou závislost za slabší a regresní funkci za méně výstižnou. Nízká hodnota R 2 ještě nemusí znamenat nízký stupeň závislosti mezi proměnnými, ale může signalizovat chybnou volbu regresního modelu.
Koeficient (index) determinace R 2 představuje výběrový index determinace, který lze použít jako odhad teoretického indexu determinace. Tento odhad je asymptoticky nestranný, nicméně pro malé výběry nadhodnocuje skutečnou těsnost závislosti a je závislý na počtu parametrů regresního modelu. Lze provést jeho korekci čím získáme odhad nestranný. R 2 adj = 1 (1 R 2 ) n 1 n k,
Z předchozích výsledků lze odvodit, za předpokladu že LRM je plné hodnosti, že pro libovolnou reálnou matici A typu m k a hodnosti m k má statistika F = 1 ( β β) A [A(X X) 1 A ] 1 A( β β) mse 2 Fisher-Snedecorovo F rozdělení o m a n k stupních volnosti. Tuto statistiku lze pak využít při testování obecné lineární hypotézy H 0, kterou zapíšeme ve tvaru Aβ = a, (1) kde a je vhodný m rozměrný reálný vektor, pro něž je rovnice (1) řešitelná. Odtud pak plyne, že testovací statistika F = 1 (A β a) [A(X X) 1 A ] 1 (A β a) (2) mse 2 má za platnosti nulové hypotézy H 0 Fisher-Snedecorovo F rozdělení o m a n k stupních volnosti. Proto nulovou hypotézu H 0 zamítáme na hladině významnosti α, když F F 1 α(m, n k), kde F 1 α(m, n k) kvantil F rozdělení o m a n k stupních volnosti.
Speciální volbou matice A a vektoru a v (1) lze potom získat speciální hypotézy, které experimentátora zajímají. Po dosazení za A a a do statistiky F ve (2) lze získat odpovídající testovací statistiky pro testování hypotéz o parametrech β 1,..., β k. Tímto způsobem lze konstruovat řadu běžných testů o neznámých parametrech včetně testů o parametrech LRM, které byly uvedeny dříve.
Příklad 1. Test hypotézy β j = 0 lze získat při volbě A = u j, kde u j je k rozměrný jednotkový vektor s jedničkou na j tém místě a a = 0. Jde o test, založený na testovací statistice t. Příklad 2. Testy hypotéz o rovnosti parametrů, např. test hypotézy β 1 = β 2 = = β m, m k, lze získat volbou a = 0 m 1 a 1 1 0 0 0 0 0 0 1 1 0 0 0 0 A =........ 0 0 0 1 1 0 0 je matice typu (m 1) k.
Příklad 3. Předpokládejme, že jsou dány dva nezávislé regresní modely, každý s jedním regresorem. První o rovnici Y = Xβ + e a druhý o rovnici Y = X β + e, kde X n 2 a Xn 2 jsou příslušné matice plánů s vektorem jedniček v prvním sloupci, Y a Y jsou vektory pozorování závisle proměnných v obou modelech, e a e jsou nezávislé normálně rozdělené vektory náhodných chyb a konečně β a β jsou dvourozměrné vektory neznámých parametrů. Tedy jsou dány dva nezávislé regresní modely a regresní funkce v obou modelech je dána přímkou. Když oba vektory náhodných chyb mají varianční matice σ 2 I n a σ 2 I n, lze vytvořit spojení obou modelů a uvážit nový model tvaru ( ) Y Y ( ) ( ) X 0 β = 0 X β + ( e e V tomto modelu lze např. testovací statistiku pro testování rovnoběžnosti obou regresních přímek snadno dostat ze vzorce (2) volbou A = (0, 1, 0, 1), a = 0. )