Univerzita Karlova v Praze procesy II. Zuzana. Predikce

Transkript

1 ne ve Náhodné 1 1 Katedra pravděpodobnosti a matematické statistiky Univerzita Karlova v Praze praskova@karlin.mff.cuni.cz

2 ne ve 1 ne Outline 2 ve

3 ne ve Definice: Nechť H je Hilbertův prostor (úplný vektorový prostor se skalárním součinem, ) a normou., která je pro každé x H definovaná jako x = x, x. Jestliže pro dva prvky x, y H platí x, y = 0, říkáme, že tyto prvky jsou navzájem kolmé (ortogonální) a značíme x y. Nechť M H je podmnožina H. Říkáme, že prvek x H je kolmý k M, jestliže je kolmý ke každému prvku M, tj. x, y = 0 pro každé y M. Stručně píšeme x M. Množina M = {y H : y M} se nazývá ortogonální doplněk množiny M.

4 ne ve Věta 49: Nechť H je Hilbertův prostor, M H je jeho libovolná podmnožina. Potom M je uzavřený podprostor H. Důkaz: Nulový prvek patří do M, neboť 0, x = 0 pro každé x M. Linearita skalárního součinu každá lineární kombinace dvou prvků M je prvkem M Spojitost skalárního součinu limita posloupnosti prvků M je prvkem M.

5 ne ve Věta 50 (o projekci): Nechť M je uzavřený podprostor Hilbertova H. Potom pro každý prvek x H existuje jednoznačný rozklad na součet x = x + (x x), kde x M a x x M. Dále platí a Důkaz: Rudin (2003), věta x x = min x y (1) y M x 2 = x 2 + x x 2. (2) Prvku x M s vlastností (1) říkáme (ortogonální) projekce prvku x na podprostor M. Zobrazení P M, které každému prvku x H přiřazuje jeho ortogonální projekci na podprostor M, budeme nazývat projekční zobrazení. Zřejmě tedy pro každé x H x = P M x + (x P M x) = P M x + (I P M )x, (3) kde P M x M, (I P M )x M a I značí identické zobrazení.

6 ne ve Věta 51: Nechť H je Hilbertův prostor, P M projekční zobrazení H do jeho uzavřeného pod M. 1 Pro každé x, y H a libovolné α, β C je P M (αx + βy) = αp M x + βp M y. 2 Jestliže x M, potom P M x = x. 3 Jestliže x M, potom P M x = 0. 4 Jestliže M 1, M 2 jsou uzavřené podprostory H takové, že M 1 M 2, potom P M1 x = P M1 (P M2 x) pro každé x H. 5 Jestliže x n, x jsou prvky H takové,že x n x 0 pro n, potom P M x n P M x 0.

7 Důkaz: 1 ne ve αx + βy = α(p M x + (x P M x)) + β(p M y + (y P M y)) = αp M x + βp M y + α(x P M x) + β(y P M y). αp M x + βp M y M, α(x P M x) + β(y P M y) M αp M x + βp M y = P M (αx + βy). 2 Plyne z jednoznačnosti rozkladu (3). 3 Plyne z jednoznačnosti rozkladu (3). 4 x = P M2 x + (x P M2 x), P M2 x M 2, x P M2 x M 2 P M1 x = P M1 (P M2 x) + P M1 (x P M2 x). P M1 (P M2 x) M 1, M 2 M 1 P M 1 (x P M2 x) = 0. 5 Z linearity projekce a z rovnice (2) P M x n P M x 2 = P M (x n x) 2 x n x 2.

8 ne ve Problém: Uvažujme X 1,..., X n s nulovými středními hodnotami a konečnými druhými momenty. Na základě X 1,..., X n chceme předpovědět veličinu X n+h, kde h > 0. Hledáme aproximaci X n+h měřitelnou funkcí g(x 1,..., X n ) (předpověď), pro kterou výraz E X n+h g (X 1,..., X n ) 2 nabývá minimální hodnoty. Řešením této úlohy je podmíněná střední hodnota g(x 1,..., X n ) = E(X n+h X 1,..., X n ).

9 ne ve Je totiž, zavedeme-li značení (X 1,..., X n ) = X n, E (X n+h g(x n )) 2 = E (X n+h E(X n+h X n ) + E(X n+h X n ) g(x n )) 2 = E (X n+h E(X n+h X n )) 2 + E (E(X n+h X n ) g(x n )) 2 + 2E [(X n+h E(X n+h X n )) (E(X n+h X n ) g(x n ))],

10 ne ve přičemž pro poslední sčítanec platí E [(X n+h E(X n+h X n )) (E(X n+h X n ) g(x n ))] = E [E (X n+h E(X n+h X n )) (E(X n+h X n ) g(x n )) X n ] = E [(E(X n+h X n ) E(X n+h X n )) (E(X n+h X n ) g(x n ))] = 0. Je tedy E(X n+h g(x n )) 2 = E (X n+h E(X n+h X n )) 2 + E (E(X n+h X n ) g(x n )) 2 E (X n+h E(X n+h X n )) 2 a rovnost nastane pro g(x n ) = E(X n+h X n ). Obtížné, omezíme se na lineární aproximace

11 ne ve Nejlepší lineární předpověď (predikci) prvku X n+h na základě prvků X 1,..., X n budeme značit X n+h (n). Přímá metoda Nechť H := H{X 1,..., X n,..., X n+h } je Hilbertův prostor generovaný náhodnými veličinami X 1,..., X n+h a H n 1 := H{X 1,..., X n } nechť je Hilbertův prostor generovaný náhodnými veličinami X 1,..., X n. Nejlepší lineární predikce X n+h je prvek X n+h (n) = n c j X j H1 n, (4) j=1 pro který E X n+h X n+h (n) 2 = X n+h X n+h (n) 2 nabývá minimální hodnoty mezi všemi lineárními kombinacemi X 1,..., X n.

12 ne ve Tedy X n+h (n) = P H n 1 (X n+h ) H1 n, X n+h X n+h (n) H1 n. (5) Z linearity H1 n plyne, že podmínka (5) bude splněna právě tehdy, když X n+h X n+h (n) X j, j = 1,..., n, tj. když E(X n+h X n+h (n))x j = 0, j = 1,..., n. Konstanty c 1,..., c n musí tedy splňovat podmínky E ( n ) X n+h c k X k X j = 0, j = 1,..., n, k=1 neboli n EX n+h X j c k EX k X j = 0, j = 1,..., n. (6) k=1

13 ne ve Je-li X 1,... X n+h reálná centrovaná stacionární posloupnost s autokovarianční funkcí R, má soustava (6) tvar neboli n c k R(k j) = R(n + h j), j = 1,..., n, (7) k=1 c 1 R(0) + c 2 R(1) + + c n R(n 1) = R(n + h 1), c 1 R(1) + c 2 R(0) + + c n R(n 2) = R(n + h 2),... c 1 R(n 1) + c 2 R(n 2) + + c n R(0) = R(h).

14 ne ve Maticový zápis (7): Γ n c n = γ nh kde c n := (c 1,..., c n ), γ nh := (R(n + h 1),..., R(h)) a R(0) R(1)... R(n 1) R(1) R(0)... R(n 2) Γ n :=......, R(n 1) R(n 2)... R(0)

15 ne ve Pokud existuje Γ 1 n X n+h (n) =, potom c n = Γ 1 γ nh, tedy n j=1 n c j X j = c nx n = γ nh Γ 1 n X n. (8) Je zřejmé, že Γ n = var (X 1,..., X n ) = var X n = E (X n X n). Chyba predikce (reziduální rozptyl) Podle (2) δ 2 h := E X n+h X n+h (n) 2 = X n+h X n+h (n) 2. X n+h 2 = X n+h (n) 2 + X n+h X n+h (n) 2, je tedy δ 2 h = X n+h 2 X n+h (n) 2. (9)

16 ne ve Pro reálnou centrovanou stacionární posloupnost takovou, že Γ n je regulární, platí δ 2 h = X n+h 2 X n+h (n) 2 = E X n+h 2 E X n+h (n) 2 = R(0) E(c nx n ) 2 = R(0) c ne (X n X n)c n = R(0) c nγ n c n = R(0) γ nh Γ 1 n Γ n Γ 1 n γ nh = R(0) γ nh Γ 1 n γ nh. (10)

17 ne ve Věta 52: Nechť {X t, t Z} je reálná centrovaná stacionární posloupnost s autokovarianční funkcí R, pro kterou je R(0) > 0 a R(k) 0 pro k. Potom matice Γ n = var (X 1,..., X n ) je regulární pro každé n N. Důkaz: sporem Nechť Γ n je pro nějaké n N singulární; potom existuje nenulový vektor c = (c 1,..., c n ) takový, že c Γ n c = 0 a pro X n = (X 1,..., X n ) platí c X n = 0 s. j., neboť E c X n = 0 a var (c X n ) = c Γ n c = 0.

18 ne ve Existuje tedy přirozené 1 r < n a konstanty a 1,..., a r takové, že Γ r je regulární a X r+1 = r a j X j. j=1 Ze stacionarity posloupnosti {X t, t Z} plyne, že var(x 1,..., X r ) = = var(x h,..., X h+r 1 ) = Γ r. Odtud pro libovolné h 1 X r+h = r a j X j+h 1. j=1 Pro každé n r + 1 najdeme konstanty a (n) 1,..., a(n) r takové, že X n = r j=1 a(n) j X j = a (n) X r, kde a (n) = (a (n) 1,..., a(n) r ) a X r = (X 1,..., X r ), var X n = a (n) var X r a (n) = a (n) Γ r a (n) = R(0) > 0.

19 ne ve Matice Γ r je pozitivně definitní, tedy existuje rozklad Γ r = PΛP, kde Λ je diagonální matice, která má na diagonále vlastní čísla matice Γ r, a PP = I je jednotková matice. Protože Γ r je pozitivně definitní, jsou všechna její vlastní čísla kladná; bez újmy na obecnosti předpokládejme, že 0 < λ 1 λ r. Potom R(0) = a (n) PΛP a (n) λ 1 a (n) PP a (n) = λ 1 r ( j=1 a (n) j ) 2, z čehož pro každé j = 1,..., r plyne, že ( a (n) ) 2 j R(0)/λ1, tedy a (n) j C nezávisle na n, kde C je kladná konstanta.

20 ne ve Zároveň je 0 < R(0) = E ( X n ) 2 = E ( X n = C r j=1 r j=1 a (n) j R(n j) r R(n j). j=1 a (n) j X j ) = r j=1 r j=1 a (n) j R(n j) a (n) j EX n X j Poslední výraz s rostoucím n konverguje k nule, neboť podle předpokladu R(n) 0 pro n, to je ale ve sporu s předpokladem R(0) > 0. Tedy matice Γ n je regulární pro každé n N.

21 ne ve Rekurzivní postupy Značení: H k 1 = H{X 1,..., X k } Hilbertův prostor vytvořený veličinami X 1,..., X k Xk+1 (k) = P H k 1 (X k+1 ) := X k+1, k 1, X1 := 0. Potom H n 1 = H{X 1,..., X n } = H{X 1 X 1,..., X n X n } Lemma: X 1 X 1,..., X n X n jsou ortogonální náhodné veličiny. Důkaz: Nechť i < j. Potom X i H1 i Hj 1 1 a X i H1 i 1 H j 1 1, tedy X i X i H j 1 1. Dále: Xj = P H j 1(X j ), proto X j X j H j 1 1, 1 tedy také X i X i X j X j.

22 ne ve Nejlepší lineární předpověď prvku X k+1 spočtená z X 1,..., X k (o jeden krok): X k+1 = k j=1 θ k j ( X k+1 j X k+1 j ). Chyba předpovědi prvku X k+1 o jeden krok: v k = E X k+1 X k+1 2 = X k+1 X k+1 2, k 0.

23 ne ve Věta 53 [Inovační algoritmus]: Nechť {X t, t Z} je reálná centrovaná posloupnost s autokovarianční funkcí R(i, j), kde matice (R(i, j)) n i,j=1 je regulární pro každé n. Potom nejlepší lineární predikce X n+1 X 1,..., X n je X 1 = 0, (11) n ( X n+1 = θ n j X n+1 j X ) n+1 j, n 1, (12) j=1 kde pro k = 0,..., n 1 v 0 = R(1, 1), (13) θ n,n k = 1 k 1 (R(n + 1, k + 1) θ k,k j θ n,n j v j ), (14) v k j=0 n 1 v n = R(n + 1, n + 1) θn,n jv 2 j. (15) j=0

24 ne ve Důkaz: Definujme X 1 := 0, potom v 0 = E X 1 X 1 2 = E X 1 2 = R(1, 1). Víme: X n+1 musí být tvaru (12) a pro j < k jsou X j X j a X k X k ortogonální. Násobme obě strany (12) skalárně náhodnou veličinou X k+1 X k+1 pro k < n : E X n+1 (X k+1 X k+1 ) n = θ nj E ( X n+1 j X )( n+1 j Xk+1 X ) k+1 j=1 = θ n,n k E(X k+1 X k+1 ) 2 = θ n,n k v k. X n+1 H n 1 a X n+1 X n+1 H n 1 E(X n+1 X n+1 )(X k+1 X k+1 ) = 0, k < n, EX n+1 (X k+1 X k+1 ) = E X n+1 (X k+1 X k+1 ) = θ n,n k v k. (16)

25 ne ve Odtud θ n,n k = 1 v k EX n+1 ( Xk+1 X k+1 ) = 1 v k ( R(n + 1, k + 1) EXn+1 Xk+1 ). Dále, když aplikujeme vzorec (12) na X k+1 a ve vzorci (16) místo indexu k užijeme index k j, dostaneme EX n+1 Xk+1 = EX n+1 k = = k j=1 j=1 θ kj ( X k+1 j X k+1 j ) θ kj EX n+1 ( X k+1 j X k+1 j ) k θ kj θ n,n (k j) v k j. j=1

26 ne ve Celkem tedy máme θ n,n k = 1 ( k ) R(n + 1, k + 1) θ kj θ v n,n (k j) v k j k j=1 = 1 ( k 1 ) R(n + 1, k + 1) θ n,n ν θ k,k ν v ν. v k ν=0

27 ne ve Výpočet v n : v n = E X n+1 X n+1 2 = E X n+1 2 E X n+1 2 n ( = R(n + 1, n + 1) E θ nj Xn+1 j X ) 2 n+1 j = R(n + 1, n + 1) = R(n + 1, n + 1) j=1 n θnje(x 2 n+1 j X n+1 j ) 2 j=1 n j=1 θ 2 njv n j n 1 = R(n + 1, n + 1) θn,n νv 2 ν. ν=0

28 ne ve Výpočet předpovědi o jeden krok podle inovačního algoritmu tedy schematicky probíhá takto: X 1 v 0 θ 11 X2 v 1 θ 22 θ 21 X3 v 2 θ 33 θ 32 θ 31 X4 v

29 ne ve Příklad: Jsou dána pozorování X 1,..., X n, pro které platí model MA(1), X t = Y t + by t 1, Y t WN(0, σ 2 ), t Z Určete X n+1 pomocí inovačního algoritmu. X 1 = 0, v 0 = R(0) = σ 2 (1 + b 2 ), θ 11 = 1 R(1) = b v b 2, X 2 = θ 11 (X 1 X 1 ) = θ 11 X 1, v 1 = R(0) θ 2 11v 0, θ 22 = 1 v 0 R(2) = 0, θ 21 = 1 v 1 (R(1) θ 22 θ 11 v 0 ) = R(1) v 1, X 3 = θ 21 (X 2 X 2 ), v 2 = R(0) θ 2 21v 1,

30 ne ve obecně θ nk = 0, k = 2,..., n, θ n1 = R(1) v n 1, X n+1 = θ n1 (X n X n ), v n = R(0) θ 2 n1v n 1. Příklad: Uvažujme model MA(q).Potom je R(k) = 0 pro k > q. Postupným výpočtem zjistíme, že X n+1 = min(q,n) j=1 θ nj ( X n+1 j X n+1 j ), n 1.

31 ne ve Předpověď o h > 1 kroků: X n+h (n) = P H n 1 (X n+h ), kde H1 n = H(X 1 X 1,..., X n X n ). Protože H1 n Hn+1 1 H1 n+h 1, plyne z vlastnosti projekčního zobrazení a (12), že X n+h (n) = P H n 1 ( Xn+h ) = PH n 1 (P H n+h 1 1 (n+h 1 = P H n 1 = = n+h 1 j=1 n+h 1 j=h j=1 ( ) ) ) Xn+h = P H n ( Xn+h 1 θ n+h 1,j ( Xn+h j X n+h j ) ) θ n+h 1,j P H n 1 ( X n+h j X n+h j ) θ n+h 1,j ( X n+h j X n+h j ), (17) neboť X n+h j X n+h j X1 n pro j < h.

32 ne ve Chyba předpovědi o h kroků je δ 2 h = E X n+h X n+h (n) 2 = E X n+h 2 E Xn+h (n) 2 = R(n + h, n + h) E n+h 1 j=h θ n+h 1,j ( X n+h j X n+h j ) 2 n+h 1 = R(n + h, n + h) θn+h 1,j 2 v n+h j 1. j=h

33 ne ve Příklad: Uvažujme opět model MA(1). Již jsme ukázali, že Pro h > 1 je X n+1 = P H n 1 (X n+1 ) = θ n1 (X n X n ). X n+h (n) = P H n 1 (X n+h ) = P H n 1 ( X n+h ) = P H n 1 (θ n+h 1,1 (X n+h 1 X n+h 1 )) = 0, neboť (X n+h 1 X n+h 1 ) H1 n pro h > 1.

34 ne ve Inovační algoritmus pro model ARMA Uvažujme kauzální proces ARMA(p, q) X t = ϕ 1 X t 1 + +ϕ p X t p +Y t +θ 1 Y t 1 + +θ q Y t q, t Z, Y t WN(0, σ 2 ). Hledáme X n+1 = P H n 1 (X n+1 ). Transformace: 1 σ W t = X t, t = 1, 2,..., m, 1 σ (X t ϕ 1 X t 1 ϕ p X t p ), t > m, (18) m = max(p, q). Položme X 1 = 0, Ŵ1 = 0, Ŵk = P H k 1(W k ). Potom 1 H n 1 = H(X 1 X 1,..., X n X n ) = H(X 1,..., X n ) = H(W 1,..., W n ) = H(W 1 Ŵ1,..., W n Ŵn).

35 ne ve Aplikace inovačního algoritmu na posloupnost {W 1,..., W n } : n j=1 θ nj(w n+1 j Ŵn+1 j), 1 n < m, Ŵ n+1 = q j=1 θ nj(w n+1 j Ŵn+1 j), n m (19) (pro t > m je W t MA(q)). do H1 t 1 na obě strany vztahu (18): 1 X σ t, t m, Ŵ t = 1 σ ( X t ϕ 1 X t 1 ϕ p X t p ), t > m. (20)

36 ne ve Je vidět, že pro t 1 W t Ŵt = 1 σ ( Xt X t ), E Wt Ŵt 2 = 1 σ 2 v t 1 := w t 1. Platí tedy n j=1 X θ ( nj Xn+1 j X ) n+1 j, n < m n+1 = q j=1 θ ( nj Xn+1 j X ) n+1 j + p j=1 ϕ jx n j+1, n m (21) kde koeficienty θ nj a w n se spočtou inovačním algoritmem aplikovaným na posloupnost (18). K tomu musíme spočítat hodnoty autokovarianční funkce posloupnosti {W t }.

37 ne ve Víme, že E X t = 0, tedy i E W t = 0. Pro kovariance R W (s, t) = EW s W t platí 1 R σ 2 X (s t), 1 s, t m, [ 1 σ 2 RX (s t) p j=1 ϕ jr X ( s t j) ], R W (s, t) = min(s, t) m, m < max(s, t) 2m, 1 q s t σ 2 j=0 θ j θ j+ s t, s, t > m, s t q, 0, jinde (22) (zde jsme položili θ 0 = 1).

38 ne ve Inovační algoritmus pro model AR Uvažujme kauzální proces AR(p), tj. X t = ϕ 1 X t ϕ p X t p + Y t, t Z, Y t WN(0, σ 2 ) Transformace: 1 σ W t = X t, 1 t p, 1 σ (X t ϕ 1 X t 1 ϕ p X t p ) = 1 σ Y t, t > p. (23) Inovační algoritmus na W 1,..., W n : n j=1 Ŵ n+1 = θ nj(w n+1 j Ŵn+1 j), n < p, 0, n p. (24) (W n+1 H1 n pro n p.)

39 ne ve Opět W t Ŵt = 1 σ (X t X t ) pro t 1 a odtud n j=1 X n+1 = θ ( nj Xn+1 j X ) n+1 j, n < p, (25) ϕ 1 X n + ϕ 2 X n ϕ p X n p+1, n p. Autokovarianční funkce potřebná pro výpočet koeficientů θ nj je 1 R σ 2 X (s t), 1 s, t p, R W (s, t) = 1, t = s > p, (26) 0 jinde. Chybu předpovědi o jeden krok pro n p můžeme spočítat jako v n = E X n+1 X n+1 2 = EY 2 n+1 = σ 2.

40 ne ve Annual means of Wolf Sunspot numbers, Počet slunečních skvrn, Wolfův index,

41 ne ve Odhadnutý model pro Wolfův index (centrováno): AR(9), a(b)x t = Y t a(z) = z z z z z z z z z 9

42 ne ve Wolf index Počet slunečních skvrn, Wolfův index, , skutečné hodnoty a predikce o jeden krok

43 ne ve Wolfuv index, predikce o 1 krok Počet slunečních skvrn, Wolfův index, , skutečné a predikované hodnoty (výřez)

44 ne ve ne Problém: známe celou minulost X n, X n 1,..., chceme předpovídat X n+1, X n+2,.... Úloha projekce : Uvažujme Hilbertovy prostory H = H{X t, t Z} a H n = H{... X n 1, X n }. Předpověď X n+h (n) prvku X n+h ne X n, X n 1,... je projekce X n+h H do H n, X n+h (n) = P H n (X n+h ) předpověď o jeden krok: Xn+1 (n) := X n+1.

45 ne ve Předpověď v autoregresním modelu AR(p). Uvažujme model X t = ϕ 1 X t ϕ p X t p + Y t, t Z, (27) kde {Y t, t Z} je WN(0, σ 2 ), a předpokládejme, že polynom λ p ϕ 1 λ p 1 ϕ p má všechny kořeny uvnitř jednotkového kruhu. Víme: {X t, t Z} je kauzální lineární proces a Y t X s pro všechna t > s.

46 ne ve Předpověď o jeden krok: X n+1 = ϕ 1 X n + + ϕ p X n+1 p + Y n+1 ϕ 1 X n + + ϕ p X n+1 p H n, Y n+1 X n, X n 1, Y n+1 H n, (plyne z linearity a spojitosti skalárního součinu) X n+1 = P H n (X n+1 ) = ϕ 1 X n + + ϕ p X n+1 p. Chyba předpovědi je E X n+1 X n+1 2 = E Y n+1 2 = σ 2.

47 ne ve Předpověď o h > 1 kroků. ) X n+h (n) = P H n (X n+h ) = P H n (P H n+h 1(X n+h ) kde = P H n ( X n+h ) = P H n (ϕ 1 X n+h ϕ p X n+h p ) = ϕ 1 [X n+h 1 ] + ϕ 2 [X n+h 2 ] + + ϕ p [X n+h p ], [X n+j ] = { X n+j, j 0 X n+j (n), j > 0.

48 ne ve Příklad: Uvažujme proces AR(1), X t = ϕx t 1 + Y t, ϕ < 1, Y t WN(0, σ 2 ). Známe-li celou minulost X n, X n 1,..., je X n+1 = ϕx n. Pro h > 1 X n+h (n) = ϕ[x n+h 1 ] = ϕ X n+h 1 (n) = ϕ 2 Xn+h 2 (n) =... = ϕ h X n. Chyba predikce je E X n+h X n+h 2 = E X n+h 2 E X n+h (n) 2 = R X (0) E ϕ h 2 X n = RX (0) (1 ϕ 2h) = σ 2 1 ϕ2h 1 ϕ 2.

49 ne ve Kauzální a invertibilní model ARMA(p, q) X t = ϕ 1 X t 1 + +ϕ p X t p +Y t +θ 1 Y t 1 + +θ q Y t q, t Z, (28) Y t WN(0, σ 2 ). Kauzalita: pro každé t Z je X t = j=0 c jy t j, kde j=0 c j < odtud plyne, že Y t X s pro každé s < t. Invertibilita: pro každé t Z je Y t = j=0 d jx t j, kde j=0 d j <, neboli X t = d j X t j + Y t (29) j=1 (srov. věty 35 a 36.)

50 ne ve Platí: ( N ) d j X t j = l. i. m. N d j X t j H t 1, j=1 j=1 Y t H t 1. Z rozkladu (29) tedy plyne, že nejlepší lineární předpověď X n+1 celé X n, X n 1... je X n+1 = d j X n+1 j. (30) j=1 Chyba předpovědi E X n+1 X n+1 2 = E Y n+1 2 = σ 2. Rekurentní vyjádření Y t : Y t = X t X t

51 ne ve Z jednoznačnosti rozkladu X n+1 = X n+1 + Y n+1 a ze vzorce (28) tedy X n+1 = ϕ 1 X n + + ϕ p X n+1 p + θ 1 Y n + + θ q Y n+1 q, X n+1 = ϕ 1 X n + + ϕ p X n+1 p + θ 1 ( Xn X n ) + + θq ( Xn+1 q X n+1 q ).

52 ne ve o h > 1 kroků je kde X n+h (n) = P H n (X n+h ) = P H n (P H n+h 1(X n+h )) = P H n ( X n+h ) = P H n ( ϕ1 X n+h ϕ p X n+h p + θ 1 Y n+h θ q Y n+h q ) = ϕ 1 [X n+h 1 ] + + ϕ p [X n+h p ] + θ 1 [Y n+h 1 ] + + θ q [Y n+h q ], [X n+j ] = { X n+j, j 0, X n+j (n), j > 0 a [Y n+j ] = { X n+j X n+j, j 0, 0, j > 0.

53 ne ve Pro výpočet chyby predikce je výhodné využít kauzality. Dostaneme ( X n+h (n) = P H n (X n+h ) = P H n c j Y n+h j ). Z vlastností projekčního zobrazení a ( ) P H n c j Y n+h j = j=0 Chyba předpovědi je X n+h (n) = j=0 c j P H n (Y n+h j ), j=0 c j Y n+h j. j=h E X n+h X n+h (n) 2 h 1 2 h 1 = E c j Y n+h j = σ 2 c j 2. j=0 j=0

54 ne ve Příklad: Uvažujme model MA(1): X t = Y t + θy t 1, t Z, Y t WN(0, σ 2 ), θ < 1. Potom {X t, t Z} je invertibilní, Y t = j=0 ( θ)j X t j, a X n+1 (n) = X n+1 = ( θ) j X n+1 j = θy n = θ(x n X n ). j=1 Chyba predikce je E X n+1 X n+1 2 = EY 2 n+1 = σ2. o h > 1 kroků je ( X n+h (n) = P H n PH n+h 1 (X n+h ) ) = P H n ( X n+h ) = θp H n (Y n+h 1 ) = 0, neboť pro h 2 je Y n+h 1 H n. Chyba předpovědi je E X n+h X n+h (n) 2 = E X n+h 2 = R X (0) = σ 2 (1 + θ 2 ).

55 ne ve ve {X t, t Z} centrovaná stacionární posloupnost se distribuční funkcí F a hustotou f. Známe celou minulost posloupnosti {X t, t Z} do času n 1, hledáme předpověď X n+h, h = 0, 1,..., tj. Xn+h (n 1) = P H n 1 (X n+h ), Xn+h (n 1) H n 1 H{X t, t Z}, X n+h X n+h (n 1) H. n 1 Spektrální rozklad: X t = π π eitλ dz(λ), {Z λ, λ [ π, π]} je proces s ortogonálními přírůstky a přírůstkovou distribuční funkcí F (věta 28). Všechny prvky Hilbertova H{X t, t Z} jsou tvaru π π kde ϕ L 2 (F ) (věta 30). ϕ(λ)dz(λ),

56 ne ve Hledejme prvek X n+h (n 1) ve tvaru X n+h (n 1) = π π e inλ Φ h (λ)dz(λ), (31) kde Φ h (λ) L 2 (F ). Podmínka X n+h X n+h (n 1) H n 1 bude splněna, když X n+h X n+h (n 1) X n j, j = 1, 2,... Tedy pro j = 1, 2,... musí platit E ( X n+h X n+h (n 1) ) X n j = 0, neboli

57 ne ve ( E X n+h X ) n+h (n 1) X n j = = R(h + j) E = R(h + j) = = = π π π π π π π π π π e i(h+j)λ df (λ) e i(h+j)λ f (λ)dλ e inλ Φ h (λ)dz(λ) π π e inλ Φ h (λ)e i(n j)λ df (λ) π π π π e ijλ Φ h (λ)df (λ) e ijλ Φ h (λ)f (λ)dλ e i(n j)λ dz(λ) ( ) e ijλ e ihλ Φ h (λ) f (λ)dλ = 0. (32)

58 Označme Ψ h (λ) := ( ) e ihλ Φ h (λ) f (λ). ne ve Potom (32) lze zapsat ve tvaru π π e ijλ Ψ h (λ)dλ = 0, j = 1, 2,.... (33) Z podmínky (33) vyplývá, že Fourierův rozvoj funkce Ψ h bude obsahovat pouze členy s nezápornými mocninami e iλ, Ψ h (λ) = b k e ikλ, k=0 b k <. k=0 Bude-li Φ h (λ) = a k e ikλ, a k <, k=1 k=1 což je funkce, která je konvergentní v L 2 (F ), potom

59 ne ve X n+h (n 1) = π π e inλ[ a k e ikλ] dz(λ) π = l. i. m. N π = l. i. m. N = l. i. m. N k=1 e inλ[ N a k e ikλ] dz(λ) k=1 N [ π ] a k e i(n k)λ dz(λ) k=1 π N a k X n k = k=1 a k X n k. k=1

60 ne ve Věta 54: Nechť {X t, t Z} je reálná centrovaná stacionární posloupnost s autokovarianční funkcí R a hustotou f (λ) = f (e iλ ), kde f je racionální funkce komplexní proměnné. Nechť funkce Φ h je funkce komplexní proměnné, holomorfní vně a na hranici jednotkového kruhu a taková, že Φ h ( ) = 0. Nechť funkce Ψ h (z) = ( z h Φ h (z) ) f (z), z C, je holomorfní uvnitř a na hranici jednotkového kruhu. Potom nejlepší lineární predikce prvku X n+h na základě X n 1, X n 2,... je X n+h (n 1) = π π e inλ Φ h (λ)dz(λ), kde Φ h (λ) = Φ h ( e iλ ) a {Z λ, λ [ π, π]} je proces s ortogonálními přírůstky ze ho rozkladu {X t, t Z}.

61 ne ve Chyba predikce je δ 2 h = E X n+h X n+h (n 1) 2 = R(0) = R(0) π π π π Důkaz: Anděl (1976), kap. X, věta 8. Φ h (λ) 2 f (λ)d(λ) (34) e ihλ Φ h (λ)f (λ)dλ. (35) Funkce Φ h se nazývá charakteristika predikce prvku X n+h na základě X n 1, X n 2,...

62 ne ve Příklad (AR(1)): X t = ϕx t 1 + Y t, ϕ < 1, ϕ 0, Y t WN(0, σ 2 ). Hledáme předpověď X n+h (n 1) ve, když známe X n 1, X n 2,..., h 0. Spektrální hustota posloupnosti {X t, t Z} je f (λ) = σ2 2π kde f (z) = σ2 2π 1 1 ϕe iλ 2 = σ2 2π 1 (1 ϕz 1 )(1 ϕz) = σ2 2π 1 (1 ϕe iλ )(1 ϕe iλ ) = f ( e iλ), z (1 ϕz)(z ϕ) je racionální funkce komplexní proměnné z. ( ) Ψ h (z) = z h Φ h (z) f (z) = σ2 z(z h Φ h (z)) 2π (1 ϕz)(z ϕ), z C,

63 ne ve Podmínkám věty vyhovují funkce Φ ϕh+1 h (z) = z Ψ σ2 h (z) = 2π = ϕ h+1 z 1, z C, z h+1 ϕ h+1 (z ϕ)(1 ϕz), z C, charakteristika predikce je Φ h (λ) = ϕ h+1 e iλ a nejlepší lineární předpověď X n+h (n 1) = = = π π π π π π e inλ Φ h (λ)dz(λ) e inλ ϕ h+1 e iλ dz(λ) e i(n 1)λ dz(λ)ϕ h+1 = ϕ h+1 X n 1. Dostali jsme stejný výsledek jako.

64 ne ve Chyba predikce: Podle vzorce (34) máme δh 2 = E Xt+h X t+h (t 1) 2 = X t+h 2 X t+h (t 1) 2 = R(0) E Xt+h (t 1) 2 π = R(0) E e itλ Φ h (λ)dz(λ) π π = R(0) e itλ Φ h (λ) 2 f (λ)dλ = π = R(0) ϕ 2(h+1) π π ( f (λ)dλ = R(0) 1 ϕ 2(h+1)), 2 což opět souhlasí s výsledkem.