Statistika II Katedra ekonometrie FVL UO Brno kancelář 69a, tel. 973 442029 email:jiri.neubauer@unob.cz
Proces bílého šumu Proces {ɛ t} nazveme bílým šumem s nulovou střední hodnotou a rozptylem σ 2 a píšeme {ɛ t} WN(0, σ 2 ), právě když {ɛ t} má střední hodnotu 0 a pro kovarianční funkci platí { σ 2 pro k = 0 γ(k) = 0 pro k 0. Jestliže náhodné veličiny ɛ t jsou nezávislé se stejným rozdělením se střední hodnotou 0 a rozptylem σ 2, pak budeme psát {ɛ t} i.i.d.(0, σ 2 ).
Nechť {ɛ t} je bílý šum s nulovou střední hodnotou a rozptylem σ 2. Nechť ψ 0, ψ 1,..., jsou taková čísla, že j=0 ψ2 j <. Proces Y t = ψ jɛ t j, j=0 se nazývá lineární proces 1. 1 Podmínka j=0 ψ2 j < bývá někdy nahrazena silnější podmínkou j=0 ψj <.
Autoregresní proces řádu 1 AR(1) Proces je dán rovnicí Y t = φ 1Y t 1 + ɛ t, kde φ 1 je reálné číslo a {ɛ t} je bílý šum. Pomocí operátoru zpětného posunutí L, pro který platí LY t = Y t 1, L 2 Y t = Y t 2 a obecně L s Y t = Y t s, můžeme model zapsat ve tvaru (1 φ 1L)Y t = ɛ t. Pro proces AR(1) postupný dosazováním dostaneme Y t = φ 1Y t 1 + ɛ t = φ 1(φ 1Y t 2 + ɛ t 1) + ɛ t = = = ɛ t + φ 1ɛ t 1 + φ 2 1ɛ t 2 + + φ k 1ɛ t k + φ k+1 1 Y t k 1. Je možné ukázat, že pro φ 1 < 1, k, E(Y 2 t ) < platí Y t = ɛ t + φ 1ɛ t 1 + φ 2 1ɛ t 2 + φ 3 1ɛ t 3 = j=0 φ j 1ɛt j. (1)
Na proces (1) se lze dívat jako lineární proces, kde ψ j = φ j 1 ψ j = j=0 φ 1 j = j=0 1 1 φ 1 <. AR(1) proces s φ 1 < 1 se nazývá kauzální, Y t lze vyjádřit ve formě lineárního procesu (lineární kombinace současné a minulých hodnot ɛ t). Tento proces je stacionární.
Proces AR(1) Autokorelační funkce AR(1) procesu je rovna ρ k = φ k 1, k = 0, 1, 2,.... Jestliže φ 1 > 0, hodnoty ACF klesají exponenciálně k nule, jestliže φ 1 < 0, hodnoty klesají k nule oscilačně. Pokles hodnot ACF je pomalý, blíží-li se φ k hodnotám +1 nebo 1. Parciální autokorelační funkce AR(1) procesu je rovna { ρ 1 = φ 1 k = 1, ρ kk = 0 k 2. PACF má identifikační bod k 0 = 1.
Proces AR(1)
Proces AR(2) Proces je dán rovnicí Y t = φ 1Y t 1 + φ 2Y t 2 + ɛ t, kde φ 1, φ 2 jsou reálné čísla a {ɛ t} je bílý šum. Pomocí operátoru zpětného posunutí můžeme model zapsat ve tvaru (1 φ 1L φ 2L 2 )Y t = ɛ t. Charakteristický polynom tohoto procesu je φ(z) = 1 φ 1z φ 2z 2. Lze ukázat, že pokud kořeny tohoto polynomu leží mimo jednotkovou kružnici v rovině komplexních čísel, je tento proces stacionární. Leží-li vně jednotkové kružnice, proces je kauzální.
Proces AR(2) Kořeny charakteristického polynomu jsou z 1,2 = φ1 ± φ 2 1 + 4φ2 2φ 2. Tyto kořeny jsou v absolutní hodnotě větší než 1 právě tehdy, jsou-li splněny následující tři podmínky φ 1 + φ 2 < 1, φ 2 φ 1 < 1, φ 2 < 1.
Proces AR(2) Obrázek: Oblast kauzality (stacionarity) parametrů AR(2) modelu
Proces AR(2) Využijeme-li Yule-Walkerovy rovnice pro AR(2) proces, dostaneme ρ k = φ 1ρ k 1 + φ 2ρ k 2, pro k = 1, 2, 3,.... Pro k = 1 a ρ 0 = 1 dostáváme ρ 1 = φ 1 + φ 2ρ 1, tedy ρ 1 = Pro k = 2 máme ρ 2 = φ 1ρ 1 + φ 2ρ 0, tedy φ1 1 φ 2. ρ 2 = φ2(1 φ2) + φ2 1 1 φ 2. Další hodnoty lze dopočítat pomocí rekurentní formule. PACF má identifikační bod k 0 = 2 pro k > 2 je PACF nulová.
Proces AR(2)
Autoregresní model řádu p AR(p) Model je dán rovnicí pomocí operátoru zpětného posunutí Y t = φ 1Y t 1 + + φ py t pɛ t, (1 φ 1L φ pl p )Y t = ɛ t, tj. φ p(l)y t = ɛ t, kde φ p(l) = (1 φ 1L φ pl p ). Za podmínky stacionarity lze proces AR(p) vyjádřit ve tvaru lineárního procesu. Tato podmínka je splněna, leží-li kořeny charakteristického polynomu φ(z) = 1 φ 1z φ pz p vně jednotkového kruhu.
Model AR(p) Hodnoty ACF tvoří kombinace exponenciálně klesajících pohybů (v případě reálných kořenů polynomiální rovnice) a exponenciálně klesajících sinusoidních pohybů (v případě komplexních kořenů). Hodnoty PACF pro zpoždění k = 1, 2,..., p jsou různé od nuly, pro další hodnoty jsou potom rovny nule.
Proces klouzavých průměrů řádu 1 MA(1) Model je dán vztahem Y t = ɛ t + θ 1ɛ t 1, neboli Y t = (1 + θ 1L)ɛ t, kde L je operátor zpětného posunutí (Lɛ t = ɛ t 1). Tento model, stejně jako všechny MA modely, je stacionární. Je-li možné MA proces vyjádřit ve formě konvergující AR( ), tj. (1 + π 1L + π 2L 2 + )Y t = ɛ t, kde j=1 πj <, potom se označuje jako invertibilní.
Proces MA(1) Hodnoty ACF procesu MA(1) jsou dány vztahem ρ k = { θ1 k = 1, 1+θ1 2 0 k > 1.. ACF má identifikační bod k = 1. Pozn.: Stejnou ACF mají vždy dva MA(1) procesy, s parametrem θ 1 a 1/θ 1. Je-li θ 1 < 1, potom 1/θ 1 > 1 a tento proces není invertibilní. Hodnoty PACF pro θ 1 < 0 přibližují se exponenciálně k nule. Jestliže θ 1 > 0, oscilují s klesající amplitudou.
Proces MA(1)
Proces klouzavých průměrů řádu q MA(q) Model je dán vztahem Y t = ɛ t + θ 1ɛ t 1 + + θ qɛ t q, neboli Y t = (1 + θ 1L + + θ ql q )ɛ t. Proces je invertibilní, leží-li kořeny charakteristického polynomu θ(z) = 1 + θ 1z + + θ qz q vně jednotkového kruhu. ACF má tvar ρ k = { θk +θ 1 θ k+1 + +θ q k θ k 1+θ 2 1 + +θ2 q 0 k > q. k = 1, 2,..., q, ACF má identifikační bod k = q. Hodnoty PACF tvoří kombinace exponenciálně klesajících pohybů (v případě reálných kořenů polynomiální rovnice) a exponenciálně klesajících sinusoidních pohybů (v případě komplexních kořenů).
Smíšený proces ARMA(1,1) Nejjednodušší smíšený proces má tvar Y t = φ 1Y t 1 + ɛ t + θ 1ɛ t 1, tj. (1 φ 1L)Y t = (1 + θ 1L)ɛ t. ACF je podobná ACF procesu AR(1), je charakteristická exponenciálně klesajícími (příp. oscilujícími) hodnotami. Exponenciální pokles začíná od hodnoty ρ 1, na rozdíl od procesu AR(1),kde začínal již od hodnoty ρ 0 = 1. Tvar PACF je podobný jako u procesu MA(1). Po počáteční hodnotě φ 11 = ρ 1 je tato funkce charakteristická exponenciálním (resp. oscilujícím) poklesem.
Smíšený proces ARMA(p, q) Rovnice modelu je Y t = φ 1Y t 1 + + φ py t p + ɛ t + θ 1ɛ t 1 + + θ qɛ t q (1 φ 1L φ pl p )Y t = (1 + θ 1L + + θ ql q )ɛ t. ACF je podobná ACF procesu AR(p), je charakteristická exponenciálně klesajícími (příp. oscilujícími) hodnotami. Tento tvar však bude následovat až po prvních q p hodnotách (pro q > p). Hodnoty ρ 0, ρ 1,..., ρ q p tento tvar mít nebudou. Pro k > p q a p > q se PACF bude chovat stejně jako procesu MA(q). Pro k p q je však tento tvar odlišný.
Smíšený proces ARMA(p, q) ARMA proces se nazývá kauzální, jestliže existuje taková reálná posloupnost ψ = {ψ j} j=0, j=0 ψj <, že platí kde Y t = ψ jɛ t j, neboli Y t = ψ(l)ɛ t, t Z, j=0 ψ(l) = 1 + ψ 1L + ψ 2L 2 +.... ARMA proces se nazývá invertibilní, jestliže existuje taková reálná posloupnost π = {π j} j=0, j=0 πj <, že platí π jy t j = ɛ t, neboli π(l)y t = ɛ t, t Z, j=0 kde π(l) = 1 π 1L π 2L 2....
Specifikace modelu ARMA(p,q) výběr hodnot pro p, q pro danou časovou řadu odhad parametrů zvoleného ARMA(p, q) modelu
Specifikace modelu ARMA(p,q) Odhad autokorelační funkce (ACF) má tvar n t=k+1 ρ k = (Yt Yt)(Y t k Y t) n t=1 (Yt Y, k = 1, 2,... )2 kde µ = Y = 1 n n Y t, kde n je počet hodnot (délka) časové řady. Pro konstrukci intervalu spolehlivosti odhadu ρ k použijeme tzv. Bartlettovu aproximaci. Je-li ρ k = 0 pro k > k 0, pak σ( ρ k ) = ( ) D( ρ k ) 1 k 0 1 + 2 ρ 2 j, k > k 0. n Máme-li rozhodnout, zda ρ k = 0, porovnáme hodnotu ρ k obvykle s číslem 2σ( ρ k ). t=1 j=1
Specifikace modelu ARMA(p,q) Odhad parciální autokorelační funkce (PACF) je dán ρ 11 = ρ 1 ρ kk = ˆρ k k 1 j=1 ρ k 1,j ρ k j 1 k 1 j=1 ρ, k 1,j ρ j ρ kj = ρ k 1,j ρ kk ρ k 1,k j, j = 1, 2,..., k 1. Nulovost hodnot PACF lze testovat na základě tzv. Quenouilleovy aproximace. Je-li ρ kk = 0 pro k > k 0, pak 1 σ( ρ kk ) n, k > k0. Pro vlastní test použijeme dvojnásobek této směrodatné odchylky.
Specifikace modelu ARMA(p,q) AR(p) MA(q) ARMA(p, q) ACF neexistuje k 0 k 0 = q neexistuje k 0, ρ k ve tvaru U ρ k ve tvaru U po prvních q p hodnotách PACF k 0 = p neexistuje k 0 neexistuje k 0 ρ kk omezená křivkou U ρ kk omezená křivkou U po prvních p q hodnotách Tabulka: Tvar autokorelační a parciální autokorelační funkce
Specifikace modelu ARMA(p,q) Některá kritéria pro volbu modelu (hledá se model s nejmenší hodnotou kritéria) Akaikeho kritérium AIC: AIC = ln ˆσ 2 ɛ + 2M/n, kde M = p + q, ˆσ 2 ɛ je reziduální rozptyl a n je počet pozorování (počet reziduí). Schwartzovo kritérium SC: SC = ln ˆσ 2 ɛ + Hannanovo-Quinnova kritérium HQ: 2Mn 1 (M + 1)/n. HQ = ln ˆσ 2 ɛ + 2M(ln(ln n))/n.
Odhady parametrů modelu ARMA(p,q) metoda momentů metoda nejmenších čtverců metoda maximální věrohodnosti
analýza reziduí graf reziduí, graf standardizovaných reziduí histogram reziduí Q-Q plot autokorelace reziduí ACF, PACF, Ljung-Boxův test (portmanteau test) přefitování (overfitting), nadbytečnost parametrů
Na základě historie časové řady až to času t, tedy Y 1, Y 2,..., Y t, bude chtít předpovědět(predikovat) hodnotu Y t+h, tedy hodnotu v čase t + h. Označme tuto předpověď Ŷt(h) Lze ukázat, že předpověď s nejmenší střední čtvercovou chybou (minimum mean square forecast MSE) E[Y t+h Ŷt(h)]2 má tvar Ŷ t(h) = E(Y t+h Y 1, Y 2,..., Y t).
AR(1) Nejprve ukážeme konstrukci predikcí pro AR(1) proces. Mějme proces s nulovou střední hodnotou Y t µ = φ(y t 1 µ) + ɛ t. Jednokrokovou předpověď získáme dosazením t + 1 za t Y t+1 µ = φ(y t µ) + ɛ t+1. Při daných hodnotách Y 1, Y 2,..., Y t spočteme podmíněnou střední hodnotu na obou stranách předchozí rovnice Ŷ t(1) µ = φ[e(y t Y 1, Y 2,..., Y t) µ] + E(ɛ t+1 Y 1, Y 2,..., Y t). Z vlastností podmíněné střední hodnoty plyne E(Y t Y 1, Y 2,..., Y t) = Y t, protože ɛ t+1 je nezávislé na Y 1, Y 2,..., Y t je E(ɛ t+1 Y 1, Y 2,..., Y t) = E(ɛ t+1) = 0. Ŷ t(1) = µ + φ(y t µ)
AR(1) Předpověď pro čas t + h bychom podobný postupem dostali Ŷ t(h) = µ + φ[ŷt(h 1) µ], pro h 1, neboť E(Y t+h 1 Y 1, Y 2,..., Y t) = Ŷt(h 1) a pro k 1 je ɛ t+h nezávislé na Y 1, Y 2,..., Y t. Předpověď Ŷt(2) je potom rovna Ŷ t(2) = µ + φ[ŷt(1) µ], podobně se získají další předpovědi. Pro předpověď Ŷt(h) tedy platí Ŷ t(h) = φ[ŷt(k 1) µ] + µ = = φ{φ[ŷt(k 2) µ]} + µ =. h 1 = φ [Ŷt(1) µ] + µ nebo Ŷ t(h) = µ + φ h (Y t µ). (2)
AR(1) Mějme chybu jednokrokové předpovědi ɛ t(1), pro ni platí ɛ t(1) = Y t+1 Ŷt(1) = = [φ(y t µ) + µ + ɛ t+1] [φ(y t µ) + µ] = = ɛ t+1 Chyba jednokrokové předpovědi má nulovou střední hodnotu, je nezávislá na historii procesu, její rozptyl je D[ɛ t(1)] = σ 2 ɛ.
AR(1) Přepíšeme nyní AR(1) proces do tvaru MA( ) S využitím (2) tuto rovnici upravíme ɛ t(h) = Y t+h µ φ h (Y t µ) = Y t = ɛ t + φ t 1 + φ 2 ɛ t 2 + φ 3 ɛ t 3 +.... = ɛ t+h + φɛ t+h 1 + + φ h 1 ɛ t+1 + φ h ɛ t +... φ h (ɛ t + φɛ t 1 +... ) = = ɛ t+h + φɛ t+h 1 + + φ h 1 ɛ t+1 Uvedený vztah lze přepsat ɛ t(h) = ɛ t+h + ψ 1ɛ t+h 1 + ψ 2ɛ t+h 2 + + ψ h 1 ɛ t+1, Střední hodnota je E[ɛ t(h)] = 0, odhad je nestranný, rozptyl je roven ( ) D[ɛ t(h)] = σɛ 2 1 + ψ 1 + ψ2 2 + + ψh 1 2. Interval spolehlivosti pro h-krokovou předpověď je 1 h 1 h 1 Ŷ t(h) 2σ ɛ +, Ŷt(h) + 2σɛ 1 + j=1 ψ 2 j j=1 ψ 2 j.