Multikolinearita. V principu jde o velmi jednoduchý postup, který může vést k úplné

Transkript

1 Multikolinearita Problém multikolinearity se váže k matici vysvětluících proměnných X, eíž sloupce mohou být někdy (přesně nebo přibližně) lineárně závislé. ím e zřemě porušen předpoklad o maximální možné hodnosti k matice X v klasickém (ale i zobecněném) lineárním regresním modelu. Pokud existue pouze eden lineární vztah mezi vysvětluícími proměnnými, mluvíme o kolinearitě, pokud takovýchto vztahů existue více, hovoří se o multikolinearitě. Poem multikolinearita se nicméně používá často i v prvním menovaném případě. Negativní důsledky multikolinearity : V důsledku toho, že matice X nemá plnou hodnost (nebo eí sloupce budou téměř lineárně závislé) bude momentová matice X ' X singulární (vzácně) nebo téměř singulární (častěi). V důsledku toho bude mít tato matice determinant nulové nebo 1 velmi malé hodnoty a následně toho matice ( X ' X ) bude mít značně velké prvky. Pak maí rozptyly parametrů velmi značné hodnoty (a tedy t-statistiky regresních koeficientů signalizuí zpravidla nevýznamnost těchto koeficientů). Odhady regresních koeficientů mohou být současně vzáemně silně závislé. Nelze proto rozlišit individuální významnost ednotlivých vysvětluících proměnných. o nemusí vadit při predikčním využití modelu, zpravidla to však komplikue analytické uplatnění. Multikolinearita (exaktní=přesná) e téměř vždy důsledkem poruchy ve struktuře modelu a nemůže být napravena vzetím dodatečných pozorování z téhož vzorku (de-li o hodnoty vzaté z téhož základního souboru). Multikolinearita (přibližná) e častěi důsledkem poruchy ve struktuře modelu a en zřídkakdy může být napravena vzetím dodatečných pozorování z téhož vzorku (z téhož základního souboru). Přesná multikolinearita vzniká vzácně, a to zpravidla pro neuvědomění si potřeby vyhnout se zařazení skupiny přesně lineárně závislých proměnných do rovnice : 1) zařazením nezávisle proměnné, která má stenou hodnotu ve všech pozorováních. ) zařazením vysvětluící proměnné, která vzniká zprůměrováním některých dalších nezávisle proměnných 3) při chybném zařazení všech umělých (např. sezónně chápaných) proměnných (ednu e třeba vždy z rovnice vypustit). Postupy zmírňuící negativní důsledky multikolinearity 1) vynechání problémové proměnné = zednodušení modelu V principu de o velmi ednoduchý postup, který může vést k úplné eliminaci problému. Není však vždy zřemé, kterou proměnnou (proměnné) obětueme za tímto účelem. Přednost : Jednoduchost postupu okamžitě řešícího problém Slabina : V případě, že vynechávané proměnné dle ekonomické teorie maí své opodstatnění v regresní rovnici, dopouštíme se prohřešku ve specifikaci modelu (současně tím porušíme nestrannost odhadu parametrů zednodušeného modelu). 1

2 ) transformace některé z vysvětluících proměnných ransformací (např. použitím přechodem k diferencím nebo relativním přírůstkům) některých vysvětluících proměnných obvykle dosáhneme eliminaci nebo zmírnění multikolinearity (pokud lineárně závisle proměnné ponecháme beze změny). Na druhé straně však použití relativních přírůstků může vést k heteroskedasticitě (náhodných složek) a použití diferencí analogicky zase k autokorelaci náhodných složek, takže řešením ednoho neduhu vyvoláme neduh iný. Nicméně, tento postup lze vcelku vhodně uplatnit, pokud zařazení transformovaných proměnných neodporue ekonomické teorii. 3) aplikace metody hlavních komponent Jde o postup (známý především z prostředí faktorové analýzy), kterým se množina původních vysvětluících proměnných transformue na inou množinu vysvětluících proměnných, přičemž individuální přínos každé z těchto transformovaných proměnných (tzv. hlavních komponent) k vysvětlení závisle proměnné e ve statistickém slova smyslu nezávislý na iných těchto transformovaných proměnných. Původně korelované vysvětluící proměnné se takto převáděí na nekorelované (dokonce ortonormální) nové vysvětluící proměnné. Obdobně se transformuí i parametry modelu. Počet původních a transformovaných proměnných e stený, transformované proměnné však nemusíme použít všechny. Přednost: Přechodem k ortogonálním proměnným (ne nutně ke všem, ale en k těm, které maí nevětší vliv na závisle proměnnou) docílíme úplnou eliminaci multikolinearity. Slabina: Velmi často nesou nové proměnné niak rozumně obsahově interpretovatelné (de o lineární kombinaci původních proměnných), takže přitažlivost techniky postupu může na druhé straně znamenat snížení obsahové průhlednosti kauzálního vztahu. 4) aplikace hřebenové (ridge) regrese 1 Jde o postup, kterým se uměle zvětší všechny prvky na diagonále matice 1 ( X ' X ) o stenou konstantu (c) za účelem dosažení vyšší hodnoty determinantu této matice. Odhady regresních koeficientů přitom získáme ako ˆ RLS β = ( X ' X+ c. Ik ) 1 X ' y Přednost : Determinant matice X ' X lze zvýšit přidáním konstanty c o libovolnou hodnotu, takže lze dosáhnout výrazného zvýšení hodnoty determinantu matice X ' X+ c. Ik a následně snížení směrodatných odchylek parametrů (tudíž se posílí významnost t-statistik regresních koeficientů) 1 Hoerl, A.E., Kennard, R.W.: Ridge Regression: Biased Estimation for Non-orthogonal Problems. echnometrics. 1/1970 s

3 Slabina : Jde o umělý postup, který vede k tomu, že získané odhady nesou nestranné (maí však v istém rozsahu aditivního zvýšení diagonály menší rozptyly). Existuí nicméně istá vodítka, ak volit konstantu c aditivně přidávanou k diagonále matice X ' X, aby přednost převýšila slabinu. Obvykle se pro hodnotu konstanty c doporučue tato volba: k s c =, kde '. kde k e počet vysvětluících proměnných rovnice s e (metodou ) odhadnutý rozptyl náhodných složek ε e odhad regresních parametrů β pořízený estimátorem 5) nasazením Steinovy odhadové funkce 3 založené na principu kritéria minima kvadratické ztrátové funkce ve tvaru Min (. β )' X ' X ( β) kde X e matice normovaných vysvětluících proměnných (uložených opět po sloupcích), tedy s vlastnostmi xi = 0 a xi = 1 při vypuštění i i absolutního členu z regresního vztahu. Steinova odhadová funkce neposkytue nestranné odhady, avšak odhady pomocí ní získané maí zpravidla menší rozptyl a metoda e robustněší vůči při nedodržení předpokladu (přesné) normality náhodných složek. 6) využitím apriorní (mimomodelové) statistické informace Nečastěi lze uplatnit různé ad hoc postupy podle povahy řešené úlohy, ako např. (a) Položením omezení na některé parametry modelu (b) uplatněním smíšeného (mixed) odhadu kombinací průřezových dat a údaů časových řad. Např. v analýze spotřebitelské poptávky se závisle proměnnou spotřeba daného statku de o využití (neznámé u časových řad) informace o přímové a cenových pružnostech poptávky z průřezových dat. Informaci o přímové pružnosti z výběrového šetření o přímech a výdaích lze např. uplatnit k eliminaci vlivu změn přímu na poptávku a v analýze založené na vzorku časových řad se omezíme toliko na odhad cenových pružností poptávky. Nutným předpokladem ovšem e, aby v obou dílčích úlohách byl koeficient přímové pružnosti poptávky steně chápán (u některých druhů zboží se mohou podstatně lišit přímové pružnosti v krátko- a střednědobém časovém horizontu. Hoerl, A.E., Kennard, R.W., Baldwin, K.F.: Ridge Regression. Some Simulation. Commun.Statistics. 4/1975 s Stein, C. M.: Inadmissibility of the Usual estimator for the Mean of a Multivariate Normal Distribution. Proc. of the J.Bekeley Symp. on Mathematical Statistics and Probability s

4 Prostředky k diagnostikování multikolinearity (A) F-test dílčích koeficientů determinace. Pro každou z vysvětluících proměnných formulueme regresi, v níž tato proměnná vystupue ako závisle proměnná a e vysvětlována ostatními k-1 nezávisle proměnnými regresní rovnice. Pro pevně zvolenou tou proměnnou x pak testueme (standardním F-testem) statistickou významnost skupiny ostatních k-1 proměnných obvyklým F-testem, založeným na koeficientu determinace: R F k J = =,3,..., k 1 R ( k + 1) Je-li většina hodnot F statisticky významná, zamítá se hypotéza o ortogonalitě vysvětluících proměnných, což e však podstatně přísněší podmínka než nepřítomnost významné kolinearity. (B) Rovněž Lawrence Klein navrhue ako test únosnosti multikolinearity test spočívaící v posouzení velikosti R (koeficient determinace závislosti vysvětlované proměnné y na k vysvětluících proměnných x 1, x,..., xk ) vůči koeficientům determinace R (koeficient determinace závislosti pevně zvolené vysvětluící proměnné x na k-1 vysvětluících proměnných x x x 1,,..., k mimo x ). Za vážný problém e však multikolinearita považována až tehdy, platí-li pro některé nerovnost R < R tzn. pokud pro některou z vysvětluících proměnných (vzatou ako závisle proměnná) má korelační koeficient R vyšší hodnotu než standardní R. (C) Farrar a Glauber 4 doporučuí nepřímý test multikolinearity založený na velikosti determinantu normované momentové matice R = X ' X, kde prvky X získáme ako normované hodnoty původních prvků matice X, tzn. 1/ xt x x, t (. ) t= xt =, kde x. = 1 xt x t= 1, sx =. sx. Prvky této momentové matice maí při daném způsobu normování charakter korelační matice, načež lze pomocí χ - testu testovat, zda se determinant této matice významně liší od edné. Pro případ multikolinearity platí, že R = 0 4 Farrar, D,E., Glauber R.R.: Multicollinearity in Regression Analysis: he Problem Revisited. Review of Economics and Statistics 49/1969 s

5 Pro případ ortogonality naopak platí R = 1 Hodnota mezi 0 a 1 (zištěná v praxi téměř vždy) tedy svědčí o istém stupni kolinearity ; ten však může být docela únosný. estování nulové hypotézy tvaru H 0 : R = 1 se provádí χ testem, avšak zamítnutí této nulové hypotézy neznamená, že by byla v daném případě multikolinearita fatálním problémem. Ani zde tedy test nesměřue bezprostředně k ověřování multikolinearity, nýbrž k testování opačné situace, t. stavu kdy sou vysvětluící proměnné navzáem ortogonální (tzn. kdy žádná neobsahue ani kousek informace, kterou obsahuí ostatní). 5