Univerzita Karlova v Praze Matematicko-fyzikální fakulta BAKALÁŘSKÁ PRÁCE Hana Tritová Maximálně věrohodné odhady v časových řadách Katedra pravděpodobnosti a matematické statistiky Vedoucí bakalářské práce: Studijní program: Studijní obor: RNDr. Zbyněk Pawlas, Ph.D. Matematika obecná matematika Praha 2011
Tímto bych chtěla poděkovat vedoucímu práce, RNDr. Zbyňku Pawlasovi, Ph.D., za vstřícnost, trpělivost a cenné rady při psaní této práce, Kláře Holkové za psychickou podporu a připomínky a své rodině za perfektní zázemí při psaní této práce i po celou dobu studia.
Prohlašuji, že jsem tuto bakalářskou práci vypracovala samostatně a výhradně s použitím citovaných pramenů, literatury a dalších odborných zdrojů. Beru na vědomí, že se na moji práci vztahují práva a povinnosti vyplývající ze zákona č. 121/2000 Sb., autorského zákona v platném znění, zejména skutečnost, že Univerzita Karlova v Praze má právo na uzavření licenční smlouvy o užití této práce jako školního díla podle 60 odst. 1 autorského zákona. V Praze dne Hana Tritová
Název práce: Maximálně věrohodné odhady v časových řadách Autor: Hana Tritová Katedra: Katedra pravděpodobnosti a matematické statistiky (KPMS) Vedoucí bakalářské práce: RNDr. Zbyněk Pawlas, Ph.D., KPMS Abstrakt: Práce se zabývá maximálně věrohodnými odhady v časových řadách. Čtenář se seznámí se třemi základními modely časových řad: autoregresní posloupností (AR), posloupností klouzavých součtů (MA) a jejich kombinací (AR- MA). Dále zjistí, jak vypadají jejich základní charakteristiky, např. střední hodnota nebo rozptyl. Pak zde nalezne odvození odhadů parametrů metodou maximální věrohodnosti obecně a ve zmíněných modelech časových řad. Pro modely AR(1) a MA(1) jsou uvedeny ještě odhady metodou momentů a metodou nejmenších čtverců a závěr je věnován příkladům, které slouží ke srovnání všech tří metod. Klíčová slova: maximálně věrohodný odhad, časová řada, autoregresní posloupnost, posloupnost klouzavých součtů Title: Maximum Likelihood Estimators in Time Series Author: Hana Tritová Department: Department of Probability and Mathematical Statistics (KPMS) Supervisor: RNDr. Zbyněk Pawlas, Ph.D., KPMS Abstract: The thesis deals with maximum likelihood estimators in time series. The reader becomes familiar with three important models for time series: autoregressive model (AR), moving average model (MA) and autoregressive moving average (ARMA). Thereafter he can find out the form of their main characteristics, e.g. population mean and variance. Then there is the derivation of parameter estimates generally and for mentioned models of times series. There are also stated two other methods for finding estimators of AR(1) and MA(1) parameters method of moments and least squares method. The end is dedicated to examples which compares all three methods. Keywords: maximum likelihood estimation, time series, autoregressive process, moving average process
Obsah Úvod 2 1 Základní pojmy 3 1.1 Maximálně věrohodný odhad..................... 3 1.2 Časové řady.............................. 4 1.2.1 Posloupnosti klouzavých součtů............... 5 1.2.2 Autoregresní posloupnosti.................. 5 1.2.3 Smíšený model autoregrese a klouzavých součtů...... 7 2 Odvození odhadů 8 2.1 Odhady v modelech AR(1)...................... 8 2.2 Odhady v modelech MA(1)..................... 10 2.3 Odhady v modelech AR(m)..................... 12 2.4 Odhady v modelech MA(p)..................... 14 2.5 Odhady v modelech ARMA(m, p).................. 14 3 Další metody odhadů 16 3.1 Metoda momentů........................... 16 3.1.1 Metoda momentů pro AR(1)................. 16 3.1.2 Metoda momentů pro MA(1)................ 17 3.2 Metoda nejmenších čtverců...................... 18 3.2.1 Metoda nejmenších čtverců pro AR(1)........... 18 3.2.2 Metoda nejmenších čtverců pro MA(1)........... 18 4 Porovnání odhadů 20 Závěr 23 Seznam použitých zkratek 24 Seznam použité literatury 25 1
Úvod Cílem této práce je odvodit maximálně věrohodné odhady parametrů pro konkrétní typy časových řad a získané výsledky srovnat s odhady pomocí jiných metod. Maximálně věrohodný odhad (MLE) je jedním z odhadů parametrů, které se hojně používají ve statistice. Na úvod se tedy budeme věnovat tomu, jak takový odhad vytvořit. Pak se zaměříme na časové řady. Podrobněji se budeme věnovat třem lineárním modelům časových řad: posloupnostem klouzavých součtů, autoregresním posloupnostem a kombinaci těchto dvou modelů ukážeme, jak vypadají a jaké mají základní vlastnosti. Na závěr uvedeme další dvě metody, pomocí kterých se dají odhadnout parametry (nejen) v časových řadách: metodu momentů a metodu nejmenších čtverců. Pro srovnání uvedeme pár příkladů. 2
1. Základní pojmy 1.1 Maximálně věrohodný odhad Jak je uvedeno v [1], metoda maximální věrohodnosti je metoda konstrukce bodových odhadů. Nejprve tedy definujeme, co je bodový odhad. Definice. Nechť B k značí systém borelovských množin v R k, Θ B k a θ Θ je k-rozměrný vektor neznámých parametrů. Nechť X = (X 1,..., X n ) T je náhodný vektor a x = (x 1,..., x n ) T je n-tice uskutečněných pozorování. Borelovskou funkci g: Θ R nazveme parametrickou funkcí. Pak bodový odhad parametrické funkce g(θ) je jakákoli borelovská funkce Φ(x), jejíž funkční předpis nezávisí na θ. Budeme předpokládat, že Θ je otevřená a distribuční funkci F (x; θ), kde x = (x 1,..., x n ) T R n a θ Θ, lze vyjádřit ve tvaru F (x; θ) = x1 xn f X (t 1,..., t n ; θ) dν(t 1,..., t n ), kde ν je σ-konečná míra na (R n, B n ) a f X (x; θ) je nezáporná měřitelná funkce. Definice. Odhad ˆθ n = ˆθ n (x 1,..., x n ) se nazývá odhadem metodou maximální věrohodnosti, pokud max θ Θ f X(x 1,..., x n ; θ) = f X (x 1,..., x n ; ˆθ n ). (1.1) Funkci θ f X (x; θ) nazýváme věrohodnostní funkcí a značíme L(x; θ). To jinými slovy znamená, že maximálně věrohodný odhad je taková hodnota θ, která maximalizuje sdruženou hustotu f X (x; θ) vzhledem k míře ν. Jelikož řešení (1.1) je ekvivalentní řešení rovnice max θ Θ log f X(x 1,..., x n ; θ) = log f X (x 1,..., x n ; ˆθ n ), tak nám k získání ˆθ n obvykle stačí vyřešit tzv. věrohodnostní rovnici, která má tvar θ log f X(x 1,..., x n ; θ) = 0. (1.2) 3
Poznámka. Pokud jsou X 1,..., X n nezávislé, pak platí n f X (x 1,..., x n ; θ) = f Xi (x i ; θ) a věrohodnostní rovnice je tvaru n θ log f Xi (x i ; θ) = θ i=1 1.2 Časové řady i=1 log f Xi (x i ; θ) = 0. (1.3) Časová řada je posloupnost pozorování, která jsou indexována podle času. Definice. Řekneme, že náhodná posloupnost {X t, t Z} s konečnými druhými momenty je slabě stacionární, pokud má konstantní střední hodnotu, tj. pro každé t Z je EX t = µ, a autokovarianční funkce R(s, t) = cov(x s, X t ) je funkcí pouze rozdílu s t. Poznámka. (i) Pokud řekneme, že posloupnost je stacionární, máme na mysli slabou stacionaritu. (ii) Pokud zjišťujeme kovarianci mezi dvěma náhodnými procesy, pak pro vzniklou funkci používáme označení kovarianční funkce. Autokovarianční funkce je pojem, který se používá pro kovarianční funkci, která se vztahuje pouze k jednomu náhodnému procesu (počítáme kovariance pouze uvnitř našeho procesu). (iii) Autokovarianční funkci stacionární posloupnosti definujeme jako funkci jedné proměnné vztahem R(t) := R(t, 0). Její vlastnosti jsou pak mj. R( t) = R(t) a R(t) 0, viz [3]. Definice. Posloupnost {Y t, t Z} stejně rozdělených náhodných věličin s nulovou střední hodnotou, rozptylem σ 2 a cov(y s, Y t ) = 0 pro s t nazveme bílým šumem, často ho značíme WN(0, σ 2 ) (z anglického white noise ). Řekneme, že bílý šum je gaussovský, pokud náhodné veličiny {Y t, t Z} jsou nezávislé a pro každé t Z platí, že Y t má normální rozdělení se střední hodnotou 0 a rozptylem σ 2 (značíme N(0, σ 2 )). Poznámka. Z definice bílého šumu vidíme, že se jedná o stacionární posloupnost. Pomocí bílého šumu definujeme další tři důležité typy časových řad, kterým se dále budeme věnovat: posloupnosti klouzavých součtů, autoregresní posloupnosti a jejich kombinaci. 4 i=1
1.2.1 Posloupnosti klouzavých součtů Definice. Nechť {Y t, t Z} je WN(0, σ 2 ). Náhodnou posloupnost {X t, t Z}, která je definována předpisem X t = µ + Y t + b 1 Y t 1 + + b p Y t p, (1.4) kde µ, b 1,..., b p jsou reálné konstanty, b p 0, nazveme posloupností klouzavých součtů řádu p a značíme MA(p). Zřejmě EX t = µ pro každé t Z. V [3], str. 51 52, můžeme nalézt odvození, že cov(x s, X s+t ) nezávisí na s, ale jen na t, tedy posloupnost {X t, t Z} je slabě stacionární. Spočítejme rozptyl X t a autokovarianční funkci posloupnosti {X t, t Z}: varx t = E(X t EX t ) 2 = E(X t µ) 2 = E(Y t + b 1 Y t 1 + + b p Y t p ) 2 = σ 2 (1 + b 2 1 + + b 2 p), (1.5) R(t) = cov(x s, X s+t ) = E(Y s + b 1 Y s 1 + + b p Y s p )(Y s+t + b 1 Y s+t 1 + + kde jsme položili b 0 = 1. p t + b p Y s+t p ) = σ 2 i=0 b i b i+ t, (1.6) 1.2.2 Autoregresní posloupnosti Definice. Nechť {Y t, t Z} je WN(0, σ 2 ). Náhodnou posloupnost {X t, t Z}, která je definována předpisem X t = c + ϕ 1 X t 1 + ϕ 2 X t 2 + + ϕ m X t m + Y t, (1.7) kde c, ϕ 1,..., ϕ m jsou reálné konstanty, ϕ m 0, nazveme autoregresní posloupností řádu m a značíme AR(m). Podle [2], str. 53, je posloupnost typu AR(1) slabě stacionární, pokud ϕ 1 < 1. Zřejmě µ = EX t = E(c + ϕ 1 X t 1 + Y t ) = c + ϕ 1 µ, tedy µ = c 1 ϕ 1. (1.8) 5
Nyní rozepíšeme X t : X t = c + Y t + ϕ 1 X t 1 = c + Y t + ϕ 1 (c + Y t 1 + ϕ 1 X t 1 ) = = c + Y t + ϕ 1 (c + Y t 1 ) + ϕ 2 1(c + Y t 2 ) + ϕ 3 1(c + Y t 3 ) + = c(1 + ϕ 1 + ϕ 2 1 + ϕ 3 1 + ) + Y t + ϕ 1 Y t 1 + ϕ 2 1Y t 2 + ϕ 3 1Y t 3 + c = + Y t + ϕ 1 Y t 1 + ϕ 2 1 ϕ 1Y t 2 + ϕ 3 1Y t 3 +, (1.9) 1 kde v poslední rovnosti využijeme součtu geometrické řady. Pomocí rovnic (1.8) a (1.9) můžeme spočítat rozptyl X t : varx t = E(X t EX t ) 2 = E(X t µ) 2 = = E(Y t + ϕ 1 Y t 1 + ϕ 2 1Y t 2 + ϕ 3 1Y t 3 + ) 2 = = σ 2 (1 + ϕ 2 1 + ϕ 4 1 + ϕ 6 1 + ) = = σ2, (1.10) 1 ϕ 2 1 kde jsme opět využili součtu geometrické řady. Posloupnost typu AR(m) je podle [2], str. 58, slabě stacionární, pokud kořeny polynomu 1 ϕ 1 z ϕ 2 z 2... ϕ m z m = 0 (1.11) leží mimo jednotkový kruh. Nadále budeme předpokládat, že je tato podmínka splněna. Pak pro střední hodnotu platí: tedy µ = c + ϕ 1 µ + ϕ 2 µ + + ϕ m µ, EX t = µ = c 1 ϕ 1 ϕ 2 ϕ m. (1.12) Ještě spočítáme rozptyl X t. Z rovnice (1.12) dosadíme za c do rovnice (1.7), převedeme µ, vynásobíme obě strany rovnosti výrazem (X t µ) a určíme střední hodnotu: X t = µ(1 ϕ 1 ϕ 2 ϕ m ) + ϕ 1 X t 1 + ϕ 2 X t 2 + + ϕ m X t m + Y t X t µ = ϕ 1 (X t 1 µ) + ϕ 2 (X t 2 µ) + + ϕ m (X t m µ) + Y t (X t µ) 2 = ϕ 1 (X t 1 µ)(x t µ) + + ϕ m (X t m µ)(x t µ) + Y t (X t µ) varx t = R(0) = ϕ 1 R(1) + + ϕ m R(m) + EY t (X t µ) = ϕ 1 R(1) + + ϕ m R(m) + σ 2, (1.13) 6
kde R(t) je autokovarianční funkce posloupnosti {X t, t Z}. K určení rozptylu tedy potřebujeme znát autokovarianční funkci, jejímž zjišťováním se v této práci nebudeme zabývat. Pro zájemce jsou metody k vypočítání autokovarianční funkce uvedeny v [3]. Jen ještě uvedeme, že pokud v předchozím postupu vynásobíme obě strany rovnosti výrazem (X t k µ) pro k N místo výrazem (X t µ), dostaneme následující rovnici: R(k) = ϕ 1 R(k 1) + + ϕ m R(k m). (1.14) 1.2.3 Smíšený model autoregrese a klouzavých součtů Definice. Nechť {Y t, t Z} je WN(0, σ 2 ). Náhodnou posloupnost {X t, t Z}, která je definována předpisem X t = c + ϕ 1 X t 1 + ϕ 2 X t 2 + + ϕ m X t m + Y t + b 1 Y t 1 + + b p Y t p, (1.15) kde c, ϕ 1,..., ϕ m, b 1,..., b p jsou reálné konstanty, ϕ m 0 a b p 0, nazveme posloupností typu ARMA(m, p). Modely AR(m) a MA(p) jsou zřejmě speciálními případy modelu ARMA(m, p). Stejně jako u modelu AR(m) je posloupnost typu ARMA(m, p) slabě stacionární, pokud kořeny polynomu (1.11) leží vně jednotkového kruhu. V dalším budeme předpokládat, že je tato podmínka splněna. Jelikož bílý šum má nulovou střední hodnotu, tak střední hodnota X t u modelu ARMA(m, p) má stejný tvar jako střední hodnota X t u modelu AR(m), tedy splňuje rovnici (1.12). Podobně jako u AR(m) budeme pro určení rozptylu X t u modelu ARMA(m, p) potřebovat autokovarianční funkci, kterou nyní nebudeme dopočítávat metody se dají opět dohledat v [3]. 7
2. Odvození odhadů Závěry v této kapitole vychází hlavně z poznatků uvedených v [2] a [3]. 2.1 Odhady v modelech AR(1) Uvažujme stacionární náhodnou posloupnost {X t, t Z}, která je definována předpisem X t = c + ϕx t 1 + Y t, (2.1) kde c je reálná konstanta, ϕ je neznámý parametr a {Y t, t Z} je gaussovský bílý šum se střední hodnotou 0 a rozptylem σ 2. Pak vektor parametrů, které chceme odhadnout, je θ = (µ, ϕ, σ 2 ) T, kde µ je střední hodnota X t, kterou můžeme dopočítat ze vztahu (1.8). U metody maximální věrohodnosti chceme maximalizovat sdruženou hustotu f X (x; θ), pokud existuje. Pak f X1,X 2,...,X n (x 1, x 2,..., x n ; θ) = f Xn,X n 1,...,X 2 X 1 (x n, x n 1,..., x 2 x 1 ; θ) f X1 (x 1 ; θ) = f Xn,X n 1,...,X 3 X 2,X 1 (x n, x n 1,..., x 3 x 2, x 1 ; θ) f X2 X 1 (x 2 x 1 ; θ) f X1 (x 1 ; θ) = f Xn,Xn 1,...,X 3 X 2 (x n, x n 1,..., x 3 x 2 ; θ) f X2 X 1 (x 2 x 1 ; θ) f X1 (x 1 ; θ) n = = f X1 (x 1 ; θ) f Xi X i 1 (x i x i 1 ; θ), (2.2) i=2 kde třetí rovnost platí, neboť X 3,..., X n závisí na X 1 jen skrze X 2, tj. pokud známe hodnotu X 2, hodnotu X 1 již k určení X 3,..., X n nepotřebujeme. Jelikož Y 1 má rozdělení N(0, σ 2 ), tak X 1 má také normální rozdělení, a tedy existuje hustota. Víme, že střední hodnota X 1 rovnice (1.10): varx 1 = σ2 1 ϕ 2. Tedy X 1 má rozdělení N(µ, σ 2 1 ϕ 2 ) a hustota f X1 f X1 (x 1 ; θ) = je µ, a rozptyl určíme pomocí má tvar [ ] 1 (x 1 µ) 2 exp. (2.3) 2π σ2 2 σ2 1 ϕ 2 1 ϕ 2 8
Nyní chceme určit podmíněnou hustotu f X2 X 1 (x 2 x 1 ; θ). Protože a Y 2 má rozdělení N(0, σ 2 ), tak X 2 X 1 X 2 = c + ϕx 1 + Y 2 využití vztahu (1.8) je pak hledaná hustota tvaru f X2 X 1 =x 1 (x 2 x 1 ; θ) = = x 1 má rozdělení N(c + ϕx 1, σ 2 ). Za 1 2πσ 2 e (x 2 µ(1 ϕ) ϕx 1 )2 2σ 2. Podobným způsobem pokračujeme dál a získáme podmíněnou hustotu f X3 X 2 =x 2 (x 3 x 2 ; θ) = 1 2πσ 2 e (x 3 µ(1 ϕ) ϕx 2 )2 2σ 2. Obecně pro i = 2,..., n platí vztah f Xi X i 1 =x i 1 (x i x i 1 ; θ) = 1 (x i µ(1 ϕ) ϕx i 1 ) 2 2πσ 2 e 2σ 2. (2.4) Věrohodnostní rovnice (1.2) má s využitím vlastností logaritmu a rovnic (2.2), (2.3) a (2.4) tvar: ( 1 θ 2 log(1 ϕ2 ) n 2 log σ2 n 2 log 2π (x 1 µ) 2 2 σ2 1 ϕ 2 ) (x i µ(1 ϕ) ϕx i 1 ) 2 = 0. 2σ 2 i=2 Postupným derivováním podle jednotlivých parametrů a upravením výrazů dostáváme následující soustavu rovnic n 1 µ(n nϕ + 2ϕ) = x i ϕ x i, i=1 i=2 ϕ 1 ϕ = ϕ(x 1 µ) 2 (x i 1 µ)(x i µ(1 ϕ) ϕx i 1 ) +, 2 σ 2 σ 2 i=2 nσ 2 = (x 1 µ) 2 (1 ϕ 2 ) + (x i µ(1 ϕ) ϕx i 1 ) 2. Pokud se nám podaří vypočítat odhad ϕ (budeme ho značit ˆϕ), pak zbylé odhady parametrů již snadno dopočítáme z rovnic n i=1 ˆµ = x i ˆϕ n 1 i=2 x i, n n ˆϕ + 2 ˆϕ ˆσ 2 = (x 1 ˆµ) 2 (1 ˆϕ 2 ) + n i=2 (x i ˆµ(1 ˆϕ) ˆϕx i 1 ) 2. n Podle [2], str.122, neexistuje jednoduché vyjádření pro ˆϕ pomocí x 1,..., x n a pro určení hodnot odhadu tohoto parametru se používají iterační nebo numerické metody. 9 i=2
2.2 Odhady v modelech MA(1) Uvažujme stacionární náhodnou posloupnost {X t, t Z}, která je definována předpisem X t = µ + Y t + b Y t 1, (2.5) kde µ je reálná konstanta, b je neznámý parametr a {Y t, t Z} je gaussovský bílý šum se střední hodnotou 0 a rozptylem σ 2. Pak vektor parametrů, které chceme odhadnout, je θ = (µ, b, σ 2 ) T. Pro každé t Z má X t rozdělení N(µ, σ 2 (1+b 2 )), tedy X = (X 1, X 2,..., X n ) T má n-rozměrné normální rozdělení se střední hodnotou µ = (µ,..., µ) T a varianční maticí 1 + b 2 b 0 0 b 1 + b 2 b 0 Γ n = σ 2 0 b 1 + b 2 0........ 0 0 0 1 + b 2 Věrohodnostní funkce je tvaru L(x; θ) = f X (x; θ) = (2π) n 2 (det Γn ) 1 2 exp [ 1 ] 2 (x µ)t Γ 1 n (x µ). (2.6) Budeme faktorizovat matici Γ n, tj. budeme hledat diagonální matici D n a dolní trojúhelníkovou matici A takové, že Γ n = A D n A T a A má na diagonále samé jedničky. Pro zjednodušení výpočtů matici D n rozepíšeme jako D n = σ 2 D. Prvky příslušné matice budeme značit malým písmenem s indexem pozice prvku. Vzhledem k tvaru Γ n jsou prvky a i+k,i nulové pro k 2, i = 1, 2,..., n, tedy potřebujeme vypočítat jen prvky a i+1,i pro i = 1, 2,..., n 1 a prvky d i,i pro i = 1, 2,..., n. Snadno můžeme ukázat, že γ 1,1 = d 1,1, γ i+1,i = a i+1,i d i,i, γ i+1,i+1 = a 2 i+1,i d i,i + d i+1,i+1 pro i = 1, 2,..., n. 10
Tudíž d 1,1 = γ 1,1 = 1 + b 2, a 2,1 = γ 2,1 d 1,1 = b 1 + b 2, d 2,2 = γ 2,2 d 1,1 a 2 2,1 = 1 + b 2 a 3,2 = γ 3,2 d 2,2 = b(1 + b2 ) 1 + b 2 + b 4, b2 1 + b = 1 + b2 + b 4, 2 1 + b 2 obecně d i,i = 1 + b2 + b 4 + + b 2i 1 + b 2 + b 4 + + b 2(i 1), a i+1,i = b(1 + b2 + b 4 + + b 2(i 1) ) 1 + b 2 + b 4 + + b 2i, d i+1,i+1 = 1 + b 2 b2 (1 + b 2 + b 4 + + b 2(i 1) ) 1 + b 2 + b 4 + + b 2i = 1 + b2 + b 4 + + b 2(i+1) 1 + b 2 + b 4 + + b 2i. Tedy Γ n = A D n A T a pro (Γ n ) 1 a determinant Γ n platí (Γ n ) 1 = (A T ) 1 D 1 n A 1, det Γ n = det A det D n det A T = det D n = = (σ 2 ) n (1 + b 2 + b 4 + + b 2n ), n σ 2 d i,i i=1 kde předposlední rovnost plyne z toho, že D n je diagonální. Označíme x = A 1 (x µ) a dosadíme do (2.6) L(x; θ) = (2πσ 2 ) n 2 (1 + b 2 + b 4 + + b 2n ) 1 2 exp [ 1 2 xt D 1 n x ]. Inverzní matici k diagonální matici D n získáme převrácením hodnot na diagonále, z čehož plyne vztah x T D 1 n x = x 2 i, σ 2 d i,i kde x i, i = 1, 2,..., n dopočítáme ze vztahu A x = x µ: i=1 x 1 = x 1 µ, a 2,1 x 1 + x 2 = x 2 µ, a n,n 1 x n 1 + x n = x n µ.. 11
Obecně pro i = 2, 3,..., n platí z čehož plyne x i = x i µ x i 1 b(1 + b2 + b 4 + + b 2(i 2) ) 1 + b 2 + b 4 + + b 2(i 1), x i = i j=1 (x j µ)( b) i j 1 + b2 + b 4 + + b 2(j 1) 1 + b 2 + b 4 + + b 2(i 1). Tedy věrohodnostní funkce je tvaru L(x; θ) = (2πσ 2 ) n 2 (1 + b 2 + b 4 + + b 2n ) 1 2 exp [ a s využitím vlastností logaritmu můžeme psát 1 2σ 2 x 2 i d i=1 i,i ] (2.7) log L(x; θ) = n 2 log(2π) n 2 log σ2 1 2 log(1 + b2 + b 4 + + b 2n ) 1 2σ 2 i=1 x 2 i d i,i. Nyní zderivujeme log L(x; θ) podle σ 2 a položíme rovno nule. Pak pro σ 2 získáme odhad kde ˆσ 2 = 1 S(ˆµ, ˆb), n S(µ, b) = a hodnoty ˆµ a ˆb jsou maximálně věrohodné odhady parametrů µ a b, které musíme určit numericky. i=1 x 2 i d i,i 2.3 Odhady v modelech AR(m) Uvažujme stacionární náhodnou posloupnost {X t, t Z} definovanou jako v (1.7). V tomto případě odhadujeme vektor parametrů θ = (µ, ϕ 1, ϕ 2,..., ϕ m, σ 2 ) T, kde µ splňuje vztah (1.12). Označme R(0) R(1) R(2) R(m 1) R(1) R(0) R(1) R(m 2) σ 2 V m = R(2) R(1) R(0) R(m 3)........ R(m 1) R(m 2) R(m 3) R(0) 12
Pak V m je regulární podle [3], věta 7.3, a (X 1, X 2,..., X m ) T normální rozdělení se střední hodnotou µ = (µ, µ,..., µ) T σ 2 V m. Hustotu tedy můžeme zapsat jako má m-rozměrné a varianční maticí f Xm,Xm 1,...,X 1 (x m ; θ) [ = (2π) m 2 (det(σ 2 V m )) 1 2 exp 1 ] 2σ (x 2 m µ) T (V m ) 1 (x m µ) [ = (2πσ 2 ) m 2 (det Vm ) 1 2 exp 1 ] 2σ (x 2 m µ) T (V m ) 1 (x m µ), kde x m = (x 1, x 2,..., x m ) T. Pro každé pozorování X t platí, že pokud známe m předchozích pozorování, pak X t má podmíněné rozdělení N((c + ϕ 1 x t 1 + ϕ 2 x t 2 + + ϕ m x t m ), σ 2 ). Tedy pro t = m + 1,..., n platí f Xt Xt 1,X t 2,...,X t m (x t x t 1, x t 2,..., x t m ; θ) [ 1 = exp (x ] t c ϕ 1 x t 1 ϕ 2 x t 2 ϕ m x t m ) 2, 2πσ 2 2σ 2 kde c splňuje vztah (1.12). Tudíž věrohodnostní funkce má tvar L(x; θ) = f Xn,Xn 1,...,X 1 (x; θ) n = f Xm,Xm 1,...,X 1 (x m ; θ) t=m+1 f Xt X t 1,X t 2,...,X t m (x t x t 1, x t 2,..., x t m ; θ) [ = (2πσ 2 ) n 2 (det Vm ) 1 2 exp 1 ] 2σ (x 2 m µ) T (V m ) 1 (x m µ) [ ] (x t c ϕ 1 x t 1 ϕ 2 x t 2 ϕ m x t m ) 2 exp. 2σ 2 t=m+1 Pro zjednodušení výpočtů se často používá podmíněná metoda maximální věrohodnosti, v našem případě bude podmínkou prvních m pozorování. Pak L(x; θ) = f Xn,Xn 1,...,X m+1 X m,x m 1,...,X 1 (x n, x n 1,..., x m+1 x m, x m 1,..., x 1 ; θ) [ ] = (2πσ 2 ) n m (x t c ϕ 1 x t 1 ϕ 2 x t 2 ϕ m x t m ) 2 2 exp. 2σ 2 t=m+1 13
2.4 Odhady v modelech MA(p) Mějme stacionární náhodnou posloupnost {X t, t Z} definovanou jako v (1.4). Pak chceme odhadnout vektor parametrů θ = (µ, b 1, b 2,..., b p, σ 2 ) T. Budeme postupovat podobně jako u modelu MA(1) a dostaneme věrohodnostní funkci (2.6), kde x = (x 1, x 2,..., x n ) T, µ = (µ, µ,..., µ) T je n-rozměrný vektor a Γ n je matice typu n n a tvaru R(0) R(1) R(p) 0 0. R(1) R(0)...................... 0 Γ n =. R(p)........ R(p), 0.......................... R(1) 0 0 R(p) R(1) R(0) kde R(t) značí autokovarianční funkci posloupnosti {X t, t Z}. Podle [3], věta 7.3, je Γ n invertibilní, neboť R(0) > 0 a R(k) 0 pro k. Pro zjednodušení můžeme opět použít podmíněnou metodu maximální věrohodnosti, v tomto případě budeme podmiňovat jevem Y 0 = Y 1 = = Y p+1 = 0. Dále budeme předpokládat, že kořeny polynomu 1 + b 1 z + b 2 z 2 + + b p z p leží vně jednotkového kruhu, aby podmíněná věrohodnostní funkce dobře aproximovala nepodmíněnou. Podle [2],str. 130, je pak podmíněná věrohodnostní funkce tvaru kde L(x; θ) = f Xn,Xn 1,...,X 1 Y 0 =Y 1 =...,Y p+1 =0(x y 0 = y 1 = = y p+1 = 0; θ) = ( [ ] 2πσ 2) n 2 yt 2 exp, 2σ 2 t=1 y t = x t µ b 1 y t 1 b 2 y t 2 b p y t p, přičemž předpokládáme, že y 0 = y 1 = = y p+1 = 0. 2.5 Odhady v modelech ARMA(m, p) Uvažujme stacionární náhodnou posloupnost popsanou v (1.15). Chceme odhadnout vektor parametrů θ = (µ, ϕ 1, ϕ 2,..., ϕ m, b 1, b 2,..., b p, σ 2 ) T. 14
Nepodmíněnou metodou maximální věrohodnosti dostaneme stejný výsledek jako u modelu MA(p) rozdíl se projeví jen v autokovarianční funkci. Pokud budeme chtít použít podmíněnou metodu maximální věrohodnosti, pak předpokládáme, že kořeny polynomu 1 + b 1 z + b 2 z 2 + + b p z p leží mimo jednotkový kruh, a dále předpokládáme znalost hodnot (x 0, x 1,..., x m+1 ) T a (y 0, y 1,..., y p+1 ) T. Pak pro t = 1, 2,..., n můžeme dopočítat y t = x t c ϕ 1 x t 1 ϕ 2 x t 2 ϕ m x t m b 1 y t 1 b 2 y t 2 b p y t p, kde c můžeme vyjádřit pomocí vztahu (1.12), a podmíněná věrohodnostní funkce má opět tvar L(x; θ) = ( 2πσ 2) n 2 exp [ t=1 y 2 t 2σ 2 ]. 15
3. Další metody odhadů Nechť {X t, t Z} je stacionární náhodná posloupnost se střední hodnotou µ. Pak podle [3], str. 127, považujeme za přirozený odhad µ tzv. výběrový průměr X n = 1 n X i. i=1 3.1 Metoda momentů U metody momentů porovnáváme momenty s hodnotami jejich výběrových protějšků, v našem případě budeme používat výběrovou autokovarianční funkci, která je definovaná předpisem ˆR(k) = 1 n k (X i X n )(X i+k X n ) pro k = 0, 1,..., n 1 (3.1) n i=1 a pro k < 0 definujeme ˆR(k) = ˆR( k). 3.1.1 Metoda momentů pro AR(1) Uvažujme model (2.1). Pak chceme odhadnout vektor parametrů θ = (ϕ, σ 2 ) T. Podle (1.13) a (1.14) platí R(0) = ϕr(1) + σ 2, R(1) = ϕr(0), kde R(t) je autokovarianční funkce posloupnosti {X t, t Z}. Nahradíme autokovarianční funkci jejím výběrovým protějškem a za podmínky ˆR(0) > 0 získáme odhady ˆϕ = ˆR(1) ˆR(0), ˆσ 2 = ˆR(0) ˆϕ ˆR(1). 16
3.1.2 Metoda momentů pro MA(1) Nyní uvažujme model (2.5). Budeme odhadovat vektor parametrů θ = (b, σ 2 ) T. Podle (1.5) a (1.6) platí R(0) = σ 2 (1 + b 2 ), R(1) = σ 2 b. (3.2) K vyřešení této soustavy použijeme autokorelační funkci definovanou předpisem r(k) = R(k) R(0). Místo autokovarianční funkce budeme uvažovat výběrovou autokovarianční funkci, čímž dostaneme výběrovou autokorelační funkci Ze soustavy (3.2) pak dostáváme rovnici ˆr(k) = ˆR(k) ˆR(0). ˆr(1) = ˆR(1) ˆR(0) = Odtud již můžeme vypočítat odhad pro b b 1 + b 2. ˆb1,2 = 1 ± 1 4(ˆr(1)) 2 2ˆr(1) přičemž tato řešení jsou reálná, jen pokud ˆr(1) 1 2., (3.3) Podle [3], str. 144, za momentové odhady považujeme následující hodnoty: 1) Pokud ˆr(1) < 1 2 a pro skutečnou hodnotu parametru b platí b < 1, pak 2) Pokud ˆr(1) = 1 2, pak 1 1 4(ˆr(1)) ˆb 2 =, 2ˆr(1) ˆσ 2 = ˆR(0) 1 + ˆb. 2 ˆb = 1 2ˆr(1) = ˆr(1) ˆr(1), ˆσ 2 = 1 2 ˆR(0). 3) Pokud ˆr(1) > 1, pak rovnice (3.3) nemají reálné řešení a za odhady považu- 2 jeme hodnoty získáné v případu 2). 17
3.2 Metoda nejmenších čtverců 3.2.1 Metoda nejmenších čtverců pro AR(1) Opět uvažujeme model (2.1). Jak název metody napovídá, postupujeme minimalizací součtu čtverců v našem případě hledáme min ϕ (X i ϕx i 1 c) 2. i=2 Za využití vztahu (1.8) vede hledání tohoto minima k řešení rovnice (X i ϕx i 1 µ(1 ϕ))(x i 1 µ) = 0. i=2 Odtud již snadno vyjádříme odhad ϕ ˆϕ = n i=2 (X i µ)(x i 1 µ) n i=2 (X i 1 µ) 2. Jak bylo uvedeno na začátku kapitoly, za odhad parametru µ budeme považovat výběrový průměr. Pak můžeme odhady parametrů ϕ a σ 2 zapsat následovně ˆϕ = n i=2 (X i ˆµ)(X i 1 ˆµ) n i=2 (X i 1 ˆµ) 2, ˆσ 2 = 1 n 1 (X i ˆϕX i 1 ˆµ(1 ˆϕ)) 2. i=2 Vzhledem k podobnosti vyjádření odhadu parametru ϕ metodou momentů a metodou nejmenších čtverců lze předpokládat, že tyto odhady budou mít v praxi podobné hodnoty. 3.2.2 Metoda nejmenších čtverců pro MA(1) Uvažujeme model (2.5) a parametry b a σ 2 budeme odhadovat metodou podmíněných nejmenších čtverců. Rozepíšeme Y t do sumy: Y t = X t µ by t 1 = X t µ b(x t 1 µ) + b 2 Y t 2 = t 1 = ( b) i (X t i µ) + ( b) t Y 0. i=0 Chceme podmiňovat jevem Y 0 = 0. Z předchozího vyjádření je vidět, že pokud touto podmínkou nechceme přijít o důležitá data, musí skutečná hodnota parametru b splňovat b < 1. 18
Podle [3], str. 146, hledáme odhad parametru b za předpokladu Y 0 = 0 jako řešení, které minimalizuje součet čtverců t=1 Y 2 t = t=1 ( t 1 2. ( b) i (X t i µ)) i=0 Za odhad parametru µ opět považujeme výběrový průměr, tedy hledáme hodnotu b, která minimalizuje součet t=1 ( t 1 2. ( b) i (X t i ˆµ)) i=0 Tato hodnota musí být určena numericky, a pokud ji označíme ˆb, pak odhad parametru σ 2 je ˆσ 2 = 1 n t=1 ( t 1 2. ( ˆb) i (X t i ˆµ)) i=0 19
4. Porovnání odhadů V této kapitole uvedeme pro porovnání odhadů parametrů zmíněnými metodami několik příkladů. Pro zadané parametry příslušného modelu a počet pozorování n = 50 určíme střední kvadratickou chybu odhadů parametrů pomocí uvedených metod na základě 100 nezávislých opakování s nezměněnými parametry. Zavedeme označení MM pro metodu momentů, LS pro metodu nejmenších čtverců (z anglického least squares ) a střední kvadratickou chybu odhadu parametru budeme značit jako parametr s vlnkou, např. µ. Výpočty jsou prováděny pomocí programu Mathematica (viz [4]). Začneme odhady v modelech AR(1). Příklad 1. Nechť µ = 0, σ 2 {X t, t Z} jsou nezávislé. = 1 a ϕ = 0, tedy členy náhodné posloupnosti µ ϕ σ 2 MLE 0,0192467 0,0167068 0,0400955 MM 0,0192328 0,0161351 0,0401618 LS 0,0192328 0,016641 0,0400343 Tabulka 1. Střední kvadratické chyby odhadů parametrů µ = 0, σ 2 = 1 a ϕ = 0 v modelu AR(1) Příklad 2. Nechť µ = 0, σ 2 = 1 a ϕ = 0,2. µ ϕ σ 2 MLE 0,0308068 0,0216238 0,0400978 MM 0,0307676 0,0212977 0,0402084 LS 0,0307676 0,0217 0,040093 Tabulka 2. Střední kvadratické chyby odhadů parametrů µ = 0, σ 2 = 1 a ϕ = 0,2 v modelu AR(1) 20
Příklad 3. Nechť µ = 0, σ 2 = 1 a ϕ = 0,8. µ ϕ σ 2 MLE 0,429203 0,0168929 0,0417255 MM 0,434898 0,0199234 0,0508741 LS 0,434898 0,0181188 0,0413954 Tabulka 3. Střední kvadratické chyby odhadů parametrů µ = 0, σ 2 = 1 a ϕ = 0,8 v modelu AR(1) Z příkladů 1. 3. vidíme, že s rostoucí hodnotou ϕ roste chyba odhadů parametru µ, tj. pro silněji korelovaná data se odhad µ zhoršuje. V tomto množství dat je rozdíl mezi středními kvadratickými chybami odhadů metodou maximální věrohodnosti a odhadů zbylými metodami jen zhruba v řádu tisícin. Pokud uvážíme i početní náročnost, pak je jistě lepší použít metodu momentů nebo metodu nejmenších čtverců. Nyní budeme odhadovat parametry modelu MA(1). Příklad 4. Nechť µ = 0, σ 2 = 1 a b = 0,2. µ b σ 2 MLE 0,0265716 0,0242992 0,0379697 MM 0,026246 0,0219939 0,0385169 LS 0,026246 0,0237 0,0377884 Tabulka 4. Střední kvadratické chyby odhadů parametrů µ = 0, σ 2 = 1 a b = 0,2 v modelu MA(1) Příklad 5. Nechť µ = 0, σ 2 = 1 a b = 0,8. µ b σ 2 MLE 0,0551705 0,0318243 0,0539633 MM 0,0568682 0,0793134 0,0608907 LS 0,0568682 0,015481 0,0376756 Tabulka 5. Střední kvadratické chyby odhadů parametrů µ = 0, σ 2 = 1 a b = 0,8 v modelu MA(1) 21
Příklad 6. Nechť µ = 0, σ 2 = 1 a b = 0,5. µ b σ 2 MLE 0,00343956 0,0393226 0,0475764 MM 0,0035013 0,0555001 0,0702636 LS 0,0035013 0,0345117 0,0473093 Tabulka 6. Střední kvadratické chyby odhadů parametrů µ = 0, σ 2 = 1 a b = 0,5 v modelu MA(1) Z příkladů 4. 6. můžeme usuzovat, že metoda momentů je pro model MA(1) vhodná pouze, pokud je hodnota parametru b blízko nuly. Metoda maximální věrohodnosti nedává výrazně lepší (při těchto simulacích často ani lepší) výsledky než metoda nejmenších čtverců a uvážíme-li početní náročnost, pak při tomto množství dat je pro nás nejvýhodnější použít metodu nejmenších čtverců. 22
Závěr Cílem této práce bylo odvodit maximálně věrohodné odhady parametrů pro konkrétní typy časových řad a získané výsledky srovnat s odhady pomocí jiných metod. Nejprve jsme ukázali, jak se obecně postupuje při určování odhadu parametrů metodou maximální věrohodnosti. Pak jsme definovali tři základní lineární modely časových řad: posloupnost klouzavých součtů, autoregresní posloupnost a jejich kombinaci. U zmíněných modelů jsme uvedli jejich základní vlastnosti jako jsou střední hodnota, rozptyl či autokovarianční funkce. V druhé kapitole jsme přistoupili k určování odhadů parametrů časových řad metodou maximální věrohodnosti. Podrobně jsme ukázali, jak odvodit odhady parametrů v modelech AR(1) a MA(1). Zjistili jsme, že již u těchto jednoduchých modelů je k dopočítání kýžených odhadů nutné použít numerické metody. Dále jsme nastínili, jak získat odhady parametrů v modelech AR(m), MA(p) a ARMA(m, p) a zmínili se o podmíněné metodě maximální věrohodnosti. Ta je na rozdíl od nepodmíněné metody maximální věrohodnosti jednodušší k počítání, ovšem často na úkor přesnosti výsledků. Třetí kapitola se věnuje odhadům parametrů v modelech AR(1) a MA(1) metodou momentů a metodou nejmenších čtverců. Tentokrát musíme dopočítat řešení numericky pouze u podmíněné metody nejmenších čtverců, kterou využíváme k určení odhadů parametrů v modelu MA(1). Na závěr je uvedeno po třech příkladech pro modely AR(1) a MA(1), které srovnávají všechny tři metody. Z tohoto srovnání obecně vyšla nejlépe metoda nejmenších čtverců, přičemž jsme hleděli na přesnost odhadů a početní náročnost jejich určení. 23
Seznam použitých zkratek A matice A T A 1 transponovaná matice k A inverzní matice k A a i,j prvek A na pozici (i, j) AR(m) autoregresní posloupnost řádu m ARMA(m, p) smíšený model autoregrese a klouzavých součtů B k det A L(x; θ) LS MA(p) MLE MM systém borelovských množin v R k determinant matice A věrohodnostní funkce metoda nejmenších čtverců posloupnost klouzavých součtů řádu p maximálně věrohodný odhad metoda momentů µ střední kvadratická chyba odhadu parametru µ N množina přirozených čísel N(0, σ 2 ) normální rozdělení se střední hodnotou 0 a rozptylem σ 2 R k x ˆθ k-rozměrný vektorový prostor reálných čísel sloupcový vektor odhad parametru θ WN (0, σ 2 ) bílý šum (s nulovou střední hodnotou a rozptylem σ 2 ) Z množina celých čísel 24
Seznam použité literatury [1] Dupač, Václav Hušková, Marie. Pravděpodobnost a matematická statistika. 1. vydání. Praha: Karolinum. Univerzita Karlova. Matematicko-fyzikální fakulta. Katedra pravděpodobnosti a matematické statistiky. 2005. v, 164 s. ISBN 80-246-0009-9. [2] Hamilton, James Douglas. Time Series Analysis. 1. vydání. Princeton (New Jersey): Princeton University Press, c 1994. xiv, 800 s. ISBN 0-691- 04289-6. [3] Prášková, Zuzana. Základy náhodných procesů II. 1. vydání. Praha: Karolinum. Univerzita Karlova. 2007. 152 s. ISBN 978-80-246-0971-3. [4] Wolfram Research, Inc. Wolfram Mathematica [počítačový program]. Ver. 7.0.0, Champaign, 2008. 25