Stochastické modely časových řad

Stochastické modely časových řad RNDr Marie Forbelská, PhD Beveridge Wheat Price Index, 5-869 n = 37 35 3 5 5 5 5 55 6 65 7 75 8 85 Ústav matematiky a statistiky Přírodovědecká fakulta Masarykovy univerzity Brno říjen 3 Tento učební text vznikl za přispění Evropského sociálního fondu a státního rozpočtu ČR prostřednictvím Operačního programu Vzdělávání pro konkurenceschopnost v rámci projektu Univerzitní výuka matematiky v měnícím se světě (CZ7//53)

KAPITOLA Teoretické základy náhodných procesů Úvod V praktickém životě se setkáváme s velkým množstvím náhodných jevů, které se uskutečňují v čase Matematickým modelem těchto jevů mohou být náhodné procesy Pojem náhodného procesu je zobecněním pojmu náhodné veličiny Zatímco náhodná veličina je reálná funkce jedné proměnné elementárního jevu, je náhodný proces reálnou funkcí dvou proměnných elementárního jevu a jedné reálné proměnné Tou obvykle bývá čas K nejstarším záznamům ve tvaru časových řad patří astronomická pozorování Grafická znázornění časových řad v podobě, na kterou jsme zvyklí teď, se začala objevovat na počátku 9 století (např záznamy zemědělské produkce - známá Beveridgeova řada popisující cenový index pšenice v západní Evropě v letech 5-869) n = 37 35 3 5 5 5 5 55 6 65 7 75 8 85 Obrázek Beveridge Wheat Price Index, 5-869 V praktických situacích se setkáváme s mnoha náhodnými procesy Například ve fyzikálních a technických vědách: seismický záznam v geofyzice, řada nejvyšších denních teplot v meterologii, průběh výstupního signálu určitého elektrického přístroje, tenzometrické měření povrchového napětí v provozu namáhané strojní součástky, změny v tloušťce drátu v průběhu jeho délky, změny v počtu výzev na určité telefonní lince, atd; v biologických vědách: sledování různých parametrů znečištění ovzduší, EEG, EKG záznamy v medicině, procesy množení (např bakterií), apod ve společenských vědách: změny v počtu obyvatelstva, procesy mortality a invalidity obyvatelstva, aj; vekonomice změny poptávky po určitém výrobku, analýza vývoje kursu akcií na burze, objem zemědělské produkce, počet čekajících v letecké dopravě, atd Tyto procesy, napohled rozmanité, lze jednotně popsat matematickým pojmem náhodného (stochastického) procesu Ta část matematické statistiky, která se zmíněnými procesy zabývá, se také nazývá statistickou dynamikou

M5 Stochastické modely časových řad Cílem analýzy náhodných procesů je konstrukce odpovídajícího modelu, což umožní porozumět mechanismu, na jehož základě jsou generovány sledované údaje Znalost modelu dále umožňuje předpovídat budoucí vývoj a je-li možné řídit a optimalizovat činnost příslušného systému (vhodnou volbou vstupních parametrů a počátečních podmínek) Definice náhodného procesu Definice Nechť je dán pravděpodobnostní prostor (Ω, A, P ), indexová množina T R a reálná funkce X : Ω T R definovaná pro ω Ω a t T Jestliže pro t T je X(ω, t) borelovsky měřitelná funkce vzhledem k A (tj pro B B, t T platí X (B) = {ω Ω : X(ω, t) B} A, kde B je σ-algebra borelovských podmnožin), pak tuto funkci nazýváme (n-rozměrným) náhodným procesem Náhodný proces X(ω, t) při pevném ω Ω se nazývá realizace (trajektorie) procesu Pravděpodobnostní míru P X (B) = P (X (B)) nazýváme rozdělení pravděpodobností náhodného procesu X(ω, t) Poznámka Obdobně jako u náhodných veličin, kdy místo X(ω), ω Ω píšeme pouze X, u náhodných procesů místo {X(ω, t), ω Ω, t T } píšeme {X t, t T } Definice 3 Pokud indexová množina T = Z = {, ±, ±, } nebo T Z, mluvíme o procesu s diskrétním časem nebo o časové řadě či náhodné posloupnosti Pokud indexová množina T = t, t, kde t < t +, říkáme, že {X t, t T } je náhodný proces se spojitým časem Dvojice (S, S), kde S je množina hodnot náhodných veličin X t a S je σ-algebra podmnožin S, se nazývá stavový prostor procesu {X t, t T } Pokud náhodné veličiny X t nabývají pouze diskrétních hodnot, říkáme, že jde o proces s diskrétními stavy Nabývá-li hodnot z nějakého intervalu, mluvíme o procesu se spojitými stavy Rozdělení pravděpodobností P X náhodného procesu {X t, t T } jednoznačně definuje rozdělení každého n-rozměrného náhodného vektoru X = (X t,, X tn ), kde t,, t n jsou libovolné body z množiny T Definice 4 Nechť T n je množina všech vektorů T n = {t = (t,, t n ) : t t t n ; t i T ; i =,, n} Pak (konečně dimenzionální) distribuční funkcí náhodného procesu rozumíme funkci F t (x) = F t,,t n (x,, x n ) = P (X t x,, X tn x n ) = P Xt ((, x >,, (, x n >) pro t = (t,, t n ) T n a x = (x,, x n ) R n Pro různá n a pro různé hodnoty t,, t n dostáváme celý systém distribučních funkcí, označme jej F, který nemůže být úplně libovolný, ale zřejmě musí splňovat tzv Kolmogorovy podmínky konzistence (K) Podmínka symetrie: pro libovolnou permutaci i,, i n čísel,, n platí F ti,,t in (x i,, x in ) = F t,,t n (x,, x n ) (K) Podmínka konzistence: F t,,t n,t n+ (x,, x n, ) = F t,,t n (x,, x n ) Každému náhodnému procesu lze tedy přiřadit konzistentní systém distribučních funkcí K danému konzistentnímu systému distribučních funkcí existuje vždy takový náhodný proces, že jeho systém distribučních funkcí je totožný se zadaným systémem, což říká následující věta, kterou uvedeme bez důkazu (lze najít v knize Neubrunn, Riečan, 98, []) Věta 5 Kolmogorova věta K systému distribučních funkcí, které splňují Kolmogorovy podmínky konzistence, existuje pravděpodobnostní prostor (Ω, A, P ) a náhodný proces {X t, t T } tak, že F je jeho systémem distribučních funkcí Příklad Výpočet distribuční funkce náhodného procesu Mějme náhodnou veličinu a označme Pro t T R zaveďme U N(, ) Φ(u) = P (U u); u R X t = U t

RNDr Marie Forbelská, PhD 3 Vypočítejme distribuční funkci t =, x, t =, x >, F t (x)=p (X t x)=p (U t x)= P (U x t ) = Φ( x t ) t <, x R, P (U x t ) = Φ( x t ) t >, x R Příklady náhodných procesů Příklad Sinusoida s náhodnou fází a amplitudou Nechť A a θ jsou nezávislé náhodné veličiny A je nezáporná náhodná veličina: A, θ má rovnoměrné rozdělení: θ Rs(, π) Náhodný proces {X t, t T } může být definován takto: X t = r A cos(νt + θ), ν, r > n = 3 5 5 5 3 Obrázek Sinusoida s náhodnou fází a amplitudou (A χ (), r = 4, ν = π ) Příklad 3 Binární proces {X t, t =,, } je posloupnost nezávislých alternativních náhodných proměnných: ( ) X t A n = 3 5 5 5 3 ( ) Obrázek 3 Binární proces: X t A Příklad 4 Náhodná procházka {X t, t =,, } je definována takto: X =, X t = X t + ε t, kde ε t jsou nezávislé stejně rozdělené náhodné veličiny s nulovou střední hodnotou a konstantním rozptylem, tj ε t L(, σ )

4 M5 Stochastické modely časových řad n = 3 5 5 5 5 5 3 Obrázek 4 Náhodná procházka: ε t N(, ) 3 Striktní a slabá stacionarita 3 Stochastické procesy druhého řádu Definice 3 Řekneme, že náhodný proces {X t, t T } je striktně stacionární, jestliže pro t = (t,, t n ) T n a pro τ = (t + h,, t n + h) T n platí F t (x) = F t,,t n (x,, x n ) = F τ,,τ n (x,, x n ) = F τ (x) Rovnost lze interpretovat tak, že základní pravděpodobnostní charakteristiky procesu se nemění při posunutí v čase Definice 3 Existuje-li pro t T střední hodnota EX t, pak nazýváme funkci střední hodnotu náhodného procesu μ t = EX t Definice 33 Náhodný proces {X t, t T } nazýváme procesem druhého řádu, jestliže pro t T platí EX t < a říkáme, že náhodný proces má konečné druhé momenty Poznámka 34 Pokud EX t <, pak ze Schwarzovy nerovnosti plyne E X t (E E X t ) = (E X t ) <, tj existuje střední hodnota EX t = μ t a rozptyl DX t = EXt (EX t ) = σt Definice 35 Uvažujme náhodný proces {X t, t T }, který má konečné druhé momenty Pak funkci nazveme autokovarianční funkcí a funkci nazveme autokorelační funkcí γ(s, t) = C(X s, X t ) = E(X s EX s )(X t EX t ) ρ(s, t) = C(X s, X t ) DXs DX t = γ(s, t) γ(s, s)γ(t, t) Poznámka 36 Tyto reálné funkce dvou proměnných dávají informaci o lineárním vztahu mezi jakoukoliv dvojicí náhodných veličin X s a X t Autokavariační funkce nabývá hodnoty od mínus do plus nekonečna a její velikost závisí na měrných jednotkách náhodných veličin Naproti tomu autokorelační funkce je normovanou autokovariancí, nabývá hodnot od mínus jedné do jedné a není závislá na měrných jednotkách Definice 37 Náhodný proces {X t, t T } nazýváme stacionární ve střední hodnotě, pokud pro t T je střední hodnota konstantní, tj EX t = μ Pokud EX t =, náhodný proces nazýváme centrovaným Náhodný proces {X t, t T } se nazývá kovariančně stacionární, pokud pro t, s T platí γ(s, t) = γ(, s t ) což budeme také psát ve formě γ(s, t) = γ(s t), tj autokovarianční funkce závisí na svých argumentech pouze prostřednictvím jejich rozdílů Náhodný proces {X t, t T } se nazývá (slabě) stacionární, je-li stacionární ve střední hodnotě a kovariančně stacionární

RNDr Marie Forbelská, PhD 5 Poznámka 38 Bez újmy na obecnosti můžeme pracovat s centrovanými náhodnými procesy, neboť pro libovolná reálná čísla a, b R platí C(X s + a, X t + b) = E[(X s + a) E(X s + a)][(x t + b) E(X t + b)] = E(X s EX s )(X t EX t ) = C(X s, X t ) = γ(s, t) Poznámka 39 Protože C(X s, X t ) = C(X t, X s ), pak pro kovariančně stacionární procesy platí γ( t) = γ(t) a všechny náhodné veličiny X t mají tentýž konečný rozptyl Ze Schwarzovy nerovnosti dále plyne DX t = C(X t, X t ) = γ(t t) = γ() γ(t) = C(X, X t ) DX DX t = γ() Poznámka 3 Přívlastek slabě se většinou vynechává Lze snadno ukázat, že je-li proces striktně stacionární, je také stacionární Opačná implikace však neplatí Poznámka 3 Nechť náhodný proces {X t, t T } je stacionární Označme γ() = σ, pak autokorelační funkce stacionárního náhodného procesu bude mít tvar ρ(t) = γ(t) σ = γ(t) γ() 3 Grafické ukázky náhodných procesů Příklad 35 Ukázky (slabě) stacionárních časových řad Na následujících dvou grafech jsou vykresleny dvě slabě stacionární časové řady Willamette river, Monthly, Salem, Oregon, Oct 95 Aug 983 n = 395 85 95 5 5 95 955 96 965 97 975 98 Mitchell soil temperature, Nebraska (976 99) n = 4 5 5 98 985 99 Obrázek 5 Stacionární časové řady Příklad 36 Ukázky nestacionarity ve střední hodnotě Dva další grafy zobrazují typické časové řady, které mají nestacionární střední hodnotu První se vyznačuje lineárním trendem, u druhé je tzv sigmoidní trend (tzv růstová křivka)

6 M5 Stochastické modely časových řad Global mean land ocean temperature deviations n = 3 4 4 6 88 9 9 94 96 98 Observation Number Sigmoid Growth 4 8 5 5 Obrázek 6 Časové řady nestacionární ve střední hodnotě Příklad 37 Ukázka nestacionarity v autokovariační funkci V dalších dvou grafech je vyobrazena nestacionarita v korelaci, kdy dochází ke skokové změně autokorelační funkce 4 4 6 positive autocorrelation negative autocorrelation ρ = 85 ρ = 85 5 5 3 3 4 positive autocorrelation negative autocorrelation negative autocorrelation ρ = 5 ρ = 5 ρ = 85 5 5 Obrázek 7 Časové řady nestacionární v autokovariační funkci

RNDr Marie Forbelská, PhD 7 Příklad 38 Ukázky nestacionarity v rozptylu Velmi častými jsou případy, kdy dochází ke změně rozptylu během času UK Quarterly Gas Consumption, 96 986 6 96 965 97 975 98 985 Observation Number Monthly US electricity production, 973 5 n = 396 5 5 35 975 98 985 99 995 5 Observation Number Obrázek 8 Časové řady nestacionární v rozptylu Definujme nyní náhodné procesy, které budou hrát důležitou roli v aplikacích Definice 3 Řekneme, že náhodný proces {ε t, t T } je bílým šumem (White Noise), jestliže ε t jsou nekorelované náhodné veličiny s nulovou střední hodnotou, tj značíme Eε t =, Dε t = σ, C(ε t, ε s ) = (s t), ε t W N(, σ ) Pokud jsou navíc nejen nekolerované, ale i nezávislé, značíme je symbolem IID (independent identical defined), píšeme ε t IID(, σ ) Věta 33 Náhodné procesy ε t W N(, σ ) a ε t IID(, σ ) jsou stacionárními náhodnými procesy Důkaz Zřejmý Definice 34 Náhodný proces {X t, t T } se nazývá gaussovským (normálním), jestliže pro každé přirozené n a libovolná čísla t j T, j =,, n, je jeho n-rozměrná distribuční funkce F t,,t n (x,, x n ) distribuční funkcí n-rozměrného normálního rozdělení Věta 35 Gaussův náhodný proces {X t, t T } je stacionární, právě když je striktně stacionární Důkaz Je triviální a plyne z vlastností normálního rozdělení

8 M5 Stochastické modely časových řad Příklad 39 Grafická ukázka simulovaného bílého šumu s normálním rozdělením ε t = η t μ W N(, σ ε) kde η t N(μ =, σ = ) hustota: f η (x) = πσ exp { (x μ) σ } pro x R střední hodnota: Eη t = μ rozptyl: Dη t = σ = σ ε 4 3 4 5 5 5 3 3 3 Obrázek 9 Gausovský bílý šum Příklad 3 Ukázka bílého šumu s exponenciálních rozdělením ε t = η t μ W N(, σ ε) kde η t Exp(μ = ) hustota: f η (x) = μ exp { μ x} pro x střední hodnota: Eη t = μ rozptyl: Dη t = μ = σ ε 4 6 4 6 8 5 5 5 3 3 4 5 6 Obrázek Bílý šum s exponenciálním rozdělením Příklad 3 Bílý šum s Beta rozdělením

RNDr Marie Forbelská, PhD 9 ε t = η t μ W N(, σ ε) kde η t Beta(a = 5, b = 5) hustota: f η (x) = Γ(a+b) Γ(a)Γ(b) xa ( x) b pro x (, ) střední hodnota: Eη t = μ = a a+b rozptyl: Dη t = ab (a+b) (a+b+) = σ ε 4 4 4 6 8 5 5 5 3 4 4 Obrázek Bílý šum s Beta rozdělením Definice 36 Řekneme, že náhodný proces {X t, t T } splňuje lineární regresní model, pokud pro jeho střední hodnotu platí t T : EX t = μ t = m j= β j f j (t), kde f,, f m jsou známé funkce definované na T, β = (β,, β m ) je neznámý vektor regresních koeficientů Příklad 3 Stacionární proces kolem deterministického trendu Týdenní teploty v LA se střední hodnotou: EX t = β + β cos(πt/5) + β sin(πt/5) 97 97 974 976 978 98 5 6 7 8 9 Obrázek Stacionární proces kolem deterministické funkce času 33 Příklady slabě stacionárních procesů Příklad 33 Příklad procesu s konečnými momenty Mějme posloupnost nezávislých náhodných veličin, pro něž platí: X t { N(, ) je-li t liché, Ex() je-li t sudé Proces je (slabě) stacionární, neboť EX t =, DX t = a γ(s, t) = pro s t (jsou nezávislé)

M5 Stochastické modely časových řad Tento proces však není striktně stacionární, neboť pro liché a sudé t je distribuční funkce rozdílná Příklad 34 Kovarianční stacionarita ale nestacionárita ve střední hodnotě Mějme stacionární náhodný proces {Y t, t Z} a definujme X t = { Yt Y t + je-li t liché, je-li t sudé I když γ X (t + h, t) = C(X t+h, X t ) = C(Y t+h, Y t ) = γ Y (h), tj proces je kovariančně stacionární, přesto není (slabě) stacionární, protože střední hodnota není konstantní Příklad 35 Stacionární sinusoida s náhodnou fází a amplitudou Mějme náhodný proces {X t, t Z}, který je definován takto X t = A cos θt + B sin θt, kde A, B jsou nekorelované náhodné veličiny, pro něž EA = EB =, DA = DB =, θ π, π Zjistěme, zda je proces (slabě) stacionární Protože náhodné veličiny A a B jsou nekolerované, pak Vypočítejme nejprve střední hodnotu procesu: C(A, B) = E(A B) = EX t = E(A cos θt + B sin θt) = cos θt EA = + sin θt EB = = Autokovarianční funkce: γ(t + h, t) = C(X t+h, X t ) = E(X t+h X t ) = E{[A cos θ(t + h) + B sin θ(t + h)] [A cos θt + B sin θt]} = E{A cos θ(t + h) cos θt + AB cos θ(t + h) sin θt + AB sin θ(t + h) cos θt + B sin θ(t + h) sin θt} = cos θ(t + h) cos θt EA = + cos θ(t + h) sin θt EAB = + sin θ(t + h) cos θt EAB + sin θ(t + h) sin θt EB = = = cos θ(t + h) cos θt + sin θ(t + h) sin θt = cos[θ(t + h) θt] = cos θh = γ(h) Tedy γ(t + h, t) nezávisí na t, proto proces je (slabě) stacionární Příklad 36 Náhodná procházka Nechť X =, X t = X t + ε t, kde ε t jsou nezávislé stejně rozdělené náhodné veličiny ε t L(, σε) Zjistěme, zda tento je proces (slabě) stacionární Vypočtěme nejprve střední hodnotu procesu: ( t ) t EX t = E ε i = Eε i =, i= i= = takže proces je konstantní ve střední hodnotě Dále počítejme autokovarianční funkci: γ(t + h, t) = C(X t+h, X t ) = E(X t+h X t ) ( t+h ( t ) t = E ε i) ε i = Eε i = t σε, i= i= i= která závisí na t, tedy proces není (slabě) stacionární

RNDr Marie Forbelská, PhD Příklad 37 MA() proces je dán následující rekurentní definicí Střední hodnota: EX t = E(ε t + θε t ) = Eε t Autokovarianční funkce = X t = ε t + θε t, ε t W N(, σ ε) +θ Eε t = γ(t + h, t) = γ(t + h, t) = C(X t+h, X t ) = = E(X t+h X t ) = E(ε t+h + θε t+h )(ε t + θε t ) = Eε t+h ε t + θeε t+h ε t + θeε t+h ε t + θ Eε t+h ε t σε( + θ ) h = = θσε h = ± = γ(h) jinak Tedy MA() proces je (slabě) stacionární Nakonec vyjádříme ještě autokorelační funkci: h =, θ ρ(h) = h = ±, +θ jinak Příklad 38 Markovovův skokový proces vzniku a zániku Mějme náhodný proces {X t, t R}, pro který platí přičemž P (X t = ) = μ λ+μ P (X t = ) = λ λ+μ λ >, μ >, P (X t = x X s = y) = p yx (t s) < s t <, p (h) = p (h) = p (h) = p (h) = μ λ+μ + λ λ+μ + λ λ+μ e (λ+μ)h h, μ λ+μ e (λ+μ)h h Konstanty λ a μ se interpretují jako intenzity vzniku a zániku Rozhodněme, zda je proces stacionární Proto postupně počítejme střední hodnotu a autokovariační funkci: EX t = xp (X t = x) = x=, λ λ+μ γ(t, t+h) = C(X t, X t+h ) = E(X t X t+h ) (EX t )(EX t+h ) ) ( = E(X t X t+h ) λ λ+μ E(X t X t+h ) = xyp (X t =x, X t+h =y)= P (X t =, X t+h =) γ(t, t+h) = x=, y=, = P (X t =) P (X t+h = X t =) p (h) ( ) λ λ+μ + μλ (λ+μ) e (λ+μ)h = μλ (λ+μ) e (λ+μ)h = γ(h) Protože pro každou kovarianční funkci platí γ(t) = γ( t), [ = λ λ λ+μ λ+μ + ( ) λ λ+μ dostáváme γ(t) = μλ e (λ+μ) t pro < t < (λ+μ) Proces je tedy slabě stacionární Zbývá dopočítat autokorelační funkci: ρ(t) = γ(t) γ() = e (λ+μ) t pro < t < μ λ+μ e (λ+μ)h] Korelace mezi náhodnými veličinami tohoto procesu pro t exponenciálně klesá k nule

M5 Stochastické modely časových řad 4 Vlastnosti autokovariační funkce Třebaže v praktických situacích máme co činit jen s reálnými náhodnými veličinami, v teorii bývá výhodné pracovat někdy s komplexními náhodnými veličinami Komplexní veličinou rozumíme veličinu X = Y + iz, kde Y a Z jsou reálné náhodné veličiny Komplexním náhodným procesem nazveme systém komplexních náhodných veličin {X t, t T } Mnoho dalších úvah se bude týkat právě komplexních procesů Slovo komplexní se bude vynechávat, když bude zřejmé ze souvislosti Existují-li střední hodnoty EY a EZ, definuje se střední hodnota komplexní náhodné veličiny X = Y + iz EX = EY + iez Budeme se nyní zabývat základními vlastnostmi autokovarianční funkce γ(s, t) = C(X s, X t ) = E(X s EX s )(X t EX t ) Přitom se samozřejmě předpokládá, že jde o proces s konečnými druhými momenty Jelikož autokovarianční funkce procesu zůstává stejná při změně střední hodnoty, budeme také pro jednoduchost předpokládat, že střední hodnota procesu je rovna nule, tj že proces je centrován Věta 4 Nechť {X t, t T } je centrovaný proces s autokovarianční funkcí γ(s, t) Pak platí: () Autokovarianční funkce γ(s, t) je pozitivně semidefinitní funkce () Autokovarianční funkce γ(s, t) je hermitovsky symetrická, tj pro s, t T platí γ(s, t) = γ(t, s) (3) Je-li funkce γ(s, t) pozitivně semidefinitní a hermitovsky symetrická, existuje takový náhodný proces (dokonce normální), že γ(s, t) je jeho autokovarianční funkcí (4) Pro autokovarianční funkci γ(s, t) platí nerovnosti γ(s, s) a γ(s, t) γ(s, s) γ(t, t) (5) Součet dvou autokovariačních funkcí je opět autokovarianční funkcí (6) Reálná část autokovarianční funkce je též autokovarianční funkcí Imaginární část je autokovarianční funkcí jen tehdy, je-li rovna identicky nule Důkaz Postupně dokazujme jednotlivá tvrzení () Nejprve připomeneme definici tzv pozitivně semidefinitní funkce Nechť f(s, t) je funkce dvou proměnných definovaná na T T Říkáme, že f je pozitivně semidefinitní, platí-li pro jakékoli přirozené číslo n, pro libovolná komplexní čísla c,, c n a libovolné body t,, t n T vztah n n f(t j, t k )c j c k () j= k= Funkce jedné proměnné g(t), t T se nazývá pozitivně semidefinitní, platí-li pro každné přirozené n, libovolná komplexní čísla c,, c n a libovolné body t,, t n T a t j t k T pro j, k =,, n vztah n n g(t j t k )c j c k () j= k= Nechť {X t, t T } je centrovaný proces s autokovarianční funkcí γ(s, t) Pak zřejmě platí n n n n n n n E c j X tj = E c j X tj c k Xtk = c j c k E(X tj Xtk ) = c j c k γ(t j, t k ) j= j= k= j= k= j= k= () Platí γ(s, t) = E(X s Xt ) = E(X t Xs ) = γ(t, s), takže autokovarianční funkce je hermitovsky symetrická (3) Důkaz třetího tvrzení lze najít například v knize Doob (953, [])

RNDr Marie Forbelská, PhD 3 (4) První nerovnost γ(s, s) plyne z definice autokovarianční funkce a druhá γ(s, t) γ(s, s) γ(t, t) je důsledkem Schwarzovy nerovnosti (5) Abychom mohli dokázat páté tvrzení, připomeňme si, že součet dvou pozitivně semidefinitních hermitovsky symetrických funkcí je opět funkce pozitivně semidefinitní a hermitovsky symetrická Nechť f (s, t) a f (s, t) jsou pozitivně semidefinitní Položme Pro libovolná komplexní čísla c,, c n platí f(s, t) = f (s, t) + f (s, t) n n n n n n c j c k f(t j, t k ) = c j c k f (t j, t k ) + c j c k f (t j, t k ) j= k= j= k= j= k= Každý z obou výrazů na pravé straně je nezáporný Musí být tudíž nezáporný i výraz vlevo, čímž je zaručena pozitivní semidefinitnost funkce f Odtud plyne páté tvrzení věty (6) Nechť {Z t, t T } je komplexní náhodný proces s autokovariační funkcí γ(s, t) = C(Z s, Z t ) = E(Z s EZ s )(Z t EZ t ) Bez újmy na obecnosti budeme předpokládat, že náhodný proces má nulovou střední hodnotu, tj což implikuje, že Počítejme Reálná část γ Z (s, t) je rovna = EZ t = E(X t + iy t ) = EX t + iey t, EX t = EY t = γ Z (s, t) = EZ s Zt = E(X s + iy s )(X t iy t ) = EX s X t + EY s Y t + i(ey s X t EX s Y t ) Re(γ Z (s, t)) = EX s X t + EY s Y t = γ X (s, t) + γ Y (s, t) Je tedy rovna součtu autokovariační funkce procesu {X t, t T } a autokovariační funkce procesu {Y t, t T } a je podle pátého tvrzení autokovarianční funkcí Imaginární část γ Z (s, t) je rovna Im(γ Z (s, t)) = EY s X t EX s Y t Připomeňme, že pro libovolnou autokovarianční funkce γ(s, t) musí platit: (i) γ(s, s) (ii) γ(s, t) γ(s, s) γ(t, t) V bodech s = t dostaneme Im(γ Z (s, s)) = EY s X s EX s Y s = Druhá nerovnost však je splněna jen tehdy, je-li stále rovna nule Na druhé straně funkce identicky rovná nule je autokovariační funkcí např procesu, který je stále roven nule

4 M5 Stochastické modely časových řad Příklad 49 Harmonický proces s náhodnou fází Mějme náhodný proces: Y t = r cos(tω + θ), kde r R je amplituda, ω, π je frekvence θ R s ( π, π) je náhodná fáze Má-li náhodná veličina X spojité rovnoměrné rozdělení na intervalu a, b (a < b), tj X R s (a, b), pak hustota distribuční funkce { f(x) = b a pro x a, b pro x < a x a F (x) = jinak b a pro x a, b x > b střední hodnota rozptyl EX = a+b DX = (b a) Protože v našem případě θ R s ( π, π), pak f(x) = { π hustota pro x π, π jinak střední hodnota EX = distribuční funkce pro x < a F (x) = + x π pro x a, b x > b rozptyl DX = π 3 5 5 Hustota θ R s( π, π) 3π π π π π 3π 4 6 8 Distribuční funkce θ R s( π, π) 3π π π π π 3π Náhodný proces Y t = r cos(tω + θ) vyjádřeme s využitím součtových vzorců pro cos ekvivalentním způsobem, vhodnějším pro další výpočty: Y t = r cos(tω + θ) = r cos θ =U = U cos tω + V sin tω cos tω + ( r sin θ) sin tω =V Nejprve ukážeme, že náhodné veličiny U a V jsou centrované: EU = E(r cos θ) = r π π EV = E( r sin θ) = r π π cos x r dx = π π [sin x]π π = sin x r dx = π π [cos x]π π =

RNDr Marie Forbelská, PhD 5 Výpočtem druhých momentů náhodných veličin U a V zjistíme jejich nekorelovanost a stejné rozptyly: ( ) C(U, V ) centr = E(UV ) = E( r cos θ sin θ) = r E sin θ = r π π sin x r dx = π 4π [ cos x ] π π = r 8π [cos x]π π = [ ] EU = E(r cos θ) = r E ( + cos θ) = r + r E cos θ π = r + r cos x [ ] π r dx = π + r sin x = r 4π π [ ] EV = E(r sin θ) = r E ( cos θ) = r r E cos θ π = r r cos x [ ] π r dx = π r sin x = r 4π π π π Pro úplnost odvodíme rozdělení obou náhodných veličin U a V U = r cos θ pro θ R s ( π, π) U r, r Počítejme nejprve distribuční funkci náhodné veličiny U: F U (u) = P (U u) = P (r cos θ u) = P ( U ( π, arccos u r arccos u r, π)) = P ( U arccos u r, arccos u r ) arccos u r = π dx = u π [x]arccos r arccos u r arccos u r arccos(y) π π π π = π arccos u r pro u r, r y arccos(y) Hustotu dostaneme derivací distribuční funkce, proto pro u r, r platí f U (u) = (F U (u)) = π Pro ostatní hodnoty je hustota nulová ( u r = = r ) r πr u π r u r π π π arccos(x) arcsin( x) arccos( x) arcsin(x)

6 M5 Stochastické modely časových řad V = r sin θ pro θ R s ( π, π) V r, r Počítejme distribuční funkci náhodné veličiny V : (a) y, F V (v) = P (sin θ y) = P (V ( π, arcsin y π arcsin y, π)) π arcsin y = P (θ arcsin y, π arcsin y ) = = y π [x]π arcsin y = π arcsin ( v r π dx arcsin y ) = + π arcsin v r y > arcsin(y) π π π π π arcsin(y) (b) y, F V (v) = P (sin θ y) = P (V π arcsin y, arcsin y ) arcsin y = π dx = π π arcsin y = π arcsin ( v ) r = + π arcsin v r [x]arcsin y π arcsin y π arcsin(y) y < arcsin(y) π π π π f V (v) = (F V (v)) = π ( v r = = r ) r πr v π r v r pro v r, r arccos x = π + arcsin( x) = π arcsin x, dostaneme pro u r, r F U (u) = π arccos u r = π ( π arcsin u r ) = + π arcsin v r Tedy obě dvě náhodné veličinu U a V mají stejné rozdělení Distribuční funkce pro x < r F (x) = + π arcsin x r pro x r, r pro x > r f(x) = Hustota { π r x pro x r, r jinak 5 5 5 r r r r Obrázek 3 Distribuční funkce F (x) a hustota f(x) náhodných veličin U a V

RNDr Marie Forbelská, PhD 7 Pomocí prvních a druhých momentů náhodných veličin U a V vypočítáme první a druhé momenty procesu Y t = r cos(tω + θ): EY t = E(U cos ω t + V sin ω t) = cos ω t EU + sin ω t EV = γ(t + h, t) = C(Y t+h, Y t ) centr = E(Y t+h Y t ) = E{[U cos ω (t + h) + V sin ω (t + h)] [U cos ω t + V sin ω t]} = E{U cos ω (t + h) cos ω t + UV cos ω (t + h) sin ω t + UV sin ω (t + h) cos ω t + V sin ω (t + h) sin ω t} = cos ω (t + h) cos ω t EU = r + cos ω (t + h) sin ω t EUV = + sin ω (t + h) cos ω t EUV = + sin ω (t + h) sin ω t EV = r = r [cos ω (t + h) cos ω t + sin ω (t + h) sin ω t] = r {cos[ω (t + h) ω t]} = r cos ω h = γ(h) Tedy γ(t + h, t) nezávisí na t, proto proces je (slabě) stacionární r R je amplituda, ω, π je frekvence θ R s ( π, π) je náhodná fáze s hustotou f θ (x)= { π x π, π, jinak Momenty: střední hodnota EY t =, autokovarianční funkce γ(h) = C(Y t, Y t+h ) = r cos hω, rozptyl DY t = r Ekvivalentně lze psát Y t = U cos tω + V sin tω, kde U = r cos θ a V = r sin θ jsou náhodné amplitudy s vlastnostmi EU = EV =, C(U, V ) =, DU = DV = r = σ 3 4 5 5 5 EY t Obrázek 4 Simulovaná data harmonického procesu s náhodnou fází: Y t = r cos(tω + θ) (realizace náhodných fází (θ,, θ 5 ) = (, 53, 94, 433, 8))

8 M5 Stochastické modely časových řad 4 4 γ(h) = r cos hω DY t = γ() 5 5 Obrázek 5 Autokovarianční funkce harmonického procesu s náhodnou fází : Y t =r cos(tω +θ) Příklad 4 Harmonický proces řádu m Definice 4 Řekneme, že náhodný proces {X t, t T } je harmonický proces řádu m, jestliže ho lze psát ve formě m X t = [U j cos tω j + V j sin tω j ] j= t T, kde ω,, ω m navzájem různé konstanty z intervalu, π Obdobným postupem jako v předchozím příkladu lze ukázat, že EU j = EV j = EUj = EVj = σ j > EU j U k = EV j V k = EU j V k = pro k j což implikuje, že náhodný proces {X t, t T } je centrovaný stacionární náhodný proces, neboť EX t = EX t X t+h = m j= σ j cos hω j = γ(h) Příklad 4 Rozšířený harmonický proces řádu m Definice 43 Řekneme, že náhodný proces {X t, t T } je rozšířený harmonický proces řádu m, jestliže ho lze psát ve formě m X t = [U j cos tω j + V j sin tω j ] + ε t j= t T, kde ω,, ω m navzájem různé konstanty z intervalu, π a ε t W N(, σ ε), který je nekorelovaný se všemi U j a V j I pro tento rozšířený harmonický proces lze ukázat, že jde o centrovaný stacionární náhodný proces, neboť kde δ(h) = { pro h = jinak EX t = EX t X t+h = m j= σ j cos hω j + σ εδ(h) = γ(h),

RNDr Marie Forbelská, PhD 9 Příklad 4 Simulace 4 trajektorií harmonického procesu řádu 3 Y t = cos( π 3 + θ ) + 5 cos( π 5 + θ ) + 3 cos( π 7 + θ 3) realizace náhodných fází: n = n = n = 3 n = 4 θ 4 3 4 θ 653 499 68 6 θ3 3 456 74 4 5 5 EY t 4 6 8 Y t = cos( π 3 + θ ) + 5 cos( π 5 + θ ) + 3 cos( π 7 + θ 3) + ε t, kde ε t W N(, ) 5 EY t 4 6 8 Obrázek 6 Simulace 4 trajektorií harmonického procesu řádu 3 a rozšířeného harmonického procesu řádu 3 5 5 EY t 4 6 8 Obrázek 7 Společný graf první trajektorie harmonického procesu řádu 3 a rozšířeného harmonického procesu řádu 3 5 5 EY t 4 6 8 Obrázek 8 Společný graf druhé trajektorie harmonického procesu řádu 3 a rozšířeného harmonického procesu řádu 3

M5 Stochastické modely časových řad 5 5 EY t 4 6 8 Obrázek 9 Společný graf třetí trajektorie harmonického procesu řádu 3 a rozšířeného harmonického procesu řádu 3 5 5 EY t 4 6 8 Obrázek Společný graf čtvrté trajektorie harmonického procesu řádu 3 a rozšířeného harmonického procesu řádu 3 Příklad 43 Autokovarinační funkce harmonických procesů 5Autokovarianční funkce pro Y t = cos( π 3 + θ) + 5 cos( π 5 + θ) + 3 cos( π 7 + θ3) DY t = γ() Autokovarianční funkce pro Y t = cos( π 3 + θ) + 5 cos( π 5 + θ) + 3 cos( π 7 + θ3) + εt, kde εt W N(, ) DY t = γ() Obrázek Autokovarianční funkce harmonického procesu řádu 3 a rozšířeného harmonického procesu řádu 3

RNDr Marie Forbelská, PhD Příklad 44 Periodický charakter autokovarianční funkce harmonického náhodného procesu Věta 44 Pokud γ(t) = γ() pro nějaké t, pak γ(t) je periodická funkce Důkaz Nejprve dokážeme pomocný vztah: D(Y t+h ± Y t ) = DY t+h + DY t ± C(Y t+h, Y t ) = γ() + γ() ± γ(h) = (γ() ± γ(h)) (a) platí li γ(h) = γ(), pak D(Y t+h Y t ) =, takže Y t+h = Y t pro t, tj náhodný proces Y t je periodický s periodou h (b) platí li γ(h) = γ(), pak D(Y t+h +Y t ) =, takže Y t+h = Y t pro t, tj náhodný proces Y t je periodický s periodou h Ukázali jsme tedy v obou případech, že náhodný proces Y t je periodický, což automaticky implikuje, že i autokovarianční funkce musí být periodická 5 Spojitost a derivace náhodného procesu 5 Spojitost náhodného procesu Pokud se zajímáme o spojitost procesu {X t, t T } v bodě t T, budeme studovat chování náhodných veličin X t při t t Jestliže X t konvergují v nějakém smyslu k X t, je možno mluvit o spojitosti procesu X t v bodě t Z různých typů konvergencí se ukazuje v tomto případě jako nejužitečnější konvergence podle kvadratického středu Definice 5 Řekneme, že náhodný proces {X t, t T } je spojitý podle středu v bodě t T, jestliže při t t konvergují X t k X t podle kvadratického středu, tj když E X t X t pro t t V tom případě píšeme X t = lim X t t t (zkratka z anglického "limit in the mean") Je-li proces {X t, t T } spojitý v každém bodě množiny T, říkáme stručně, že je spojitý Poznámka 5 Z teorie pravděpodobnosti je známo, že konvergence podle kvadratického středu implikuje konvergenci podle pravděpodobnosti Věta 53 (kritérium spojitosti procesu) Proces {X t, t T } je spojitý právě tehdy, když je jeho autokovarianční funkce γ(s, t) spojitá v bodech (s, t), pro něž s = t Důkaz Bez újmy na obecnosti můžeme předpokládat, že proces je centrovaný Je-li proces {X t, t T } spojitý, pak platí pro s, t, s, t T γ(s, t) γ(s, t ) = EX s Xt EX s Xt = E(X s X s )( X t X t ) () + EX s ( X t X t ) () + E(X s X s ) X t (3) trojúhelner E(X s X s )( X t X t ) + EX s ( X t X t ) + E(X s X s ) X t Schwarzner E X s X s E X t X t + E X s E X t X t + E X s X s E X t pro s s, t t (využili jsme vlastnosti spojitosti skalárního součinu) Funkce γ(s, t, ) je tudíž spojitá všude, a tedy také na diagonále s = t

M5 Stochastické modely časových řad Předpokládejme nyní, že γ(s, t, ) je spojitá na diagonále s = t Máme E X s X t = E(X s X t )( X s X t ) = EX s Xs EX s Xt EX t Xs + EX t Xt = γ(s, s) γ(s, t) γ(t, s) + γ(t, t) Při pevném t a při s t z našeho předpokladu vyplývá γ(s, s) γ(t, t), γ(s, t) γ(t, t), γ(t, s) γ(t, t), takže E X s X t pro s t, tj konverguje podle kvadratického středu 5 Derivace náhodného procesu Derivaci náhodného procesu budeme definovat obdobně, jako se definuje derivace funkce Definice 54 Řekneme, že náhodný proces {X t, t T } má v bodě t T derivaci X t, jestliže platí lim h X t +h X t h = X t pro t + h T Má-li náhodný proces {X t, t T } derivaci ve všech bodech t T, říkáme stručně, že má derivaci Věty, které dávají nutnou a postačující podmínku pro existenci derivace náhodného procesu, lze najít v knize Anděl, J: Statistická analýza časových řad Praha SNTL 976 6 Spektrální rozklad autokovariančních funkcí stacionárních procesů 6 Herglotzova a Bochnerova věta V celém odstavci budeme předpokládat, že náhodný proces {X t, t T } je stacionární, centrovaný a druhého řádu (tj s konečnými druhými momenty) Významnou vlastností stacionárních náhodných procesů je vlastnost, že jeho autokovariační funkci lze vyjádřit jako (nespočetný) součet harmonických funkcí s různými frekvencemi a amplitudami Věta 6 (Herglotzova věta) Je-li {X t, t Z} stacionární posloupnost, pak se její autokovarianční funkce γ(t) dá vyjádřit ve tvaru γ(t) = π kde F (λ) je neklesající, zprava spojitá funkce taková, že Přitom F (λ) je jediná π e itλ df (λ), F ( π) = a F (π) = γ() Důkaz Lze najít například v Forbelská (9) Věta 6 (Bochnerova věta) Je-li {X t, t R} stacionární proces spojitý podle středu, pak se jeho autokovarianční funkce γ(t) dá vyjádřit ve tvaru γ(t) = e itλ df (λ), kde F (λ) je taková neklesající, zprava spojitá funkce, že F ( ) = a F ( ) = γ() Přitom F (λ) je jediná Důkaz Lze najít například v Forbelská (9)

RNDr Marie Forbelská, PhD 3 Vzorci γ(t) = π π e itλ df (λ) resp γ(t) = e itλ df (λ) se říká spektrální rozklad kovarianční funkce Funkce F (λ) se nazývá spektrální distribuční funkce Je-li F (λ) absolutně spojitá, pak existuje taková funkce f(λ), že pro náhodné stacionární posloupnosti, resp pro stacionární náhodné procesy platí F (λ) = λ π f(x)dx resp F (λ) = λ f(x)dx (3) Jelikož F (λ) je neklesající, je f(λ) skoro všude nezáporná Je-li třeba, pozměníme ji na množině míry nula tak, aby byla všude nezáporná Tím se integrál (3) nezmění Funkce f(λ) se nazývá spektrální hustota Existuje-li spektrální hustota, pak můžeme psát γ(t) = π π e itλ f(λ)dλ resp γ(t) = e itλ f(λ)dλ (4) Všimněme si ještě, zda a jak se dá na základě nějaké jednoduché vlastnosti kovarianční funkce γ(t) poznat, zda vůbec spektrální hustota existuje Věta 63 K existenci spektrální hustoty stacionární náhodné posloupnosti stačí, aby pro její kovarianční funkci platilo γ(t) < t= K existenci spektrální hustoty spojitého stacionární náhodného procesu stačí, aby pro její kovarianční funkci platilo γ(t) dt < Důkaz Lze najít například v publikaci autorů Gichman a Skorochod (97, viz [3]) V následujících dvou větách je zodpovězena otázka, jak vypočítat spektrální hustotu z kovarianční funkce Věta 64 Existuje-li spektrální hustota f(λ) stacionární posloupnosti a má-li variaci konečnou na π, π, pak platí f(λ) = e itλ γ(t) (5) π t= ve všech bodech spojitosti funkce f(λ), což je skoro všude vzhledem k Lebesgueově míře Důkaz Ze vzorce (4) na straně 3 vidíme, že až na normující konstantu π jsou γ(t) Fourierovy koeficienty funkce f(λ) vzhledem k ortogonálnímu systému funkcí {e itλ } Zbytek tvrzení plyne z faktu, že funkce s konečnou variací má nejvýše spočetně bodů nespojitosti (variace je difinována takto b n (f) = sup f(x k ) f(x k ), kde D n = {a = x < x < < x n = b} je dělení intervalu a, b ) Věta 65 Existuje-li spektrální hustota f(λ) spojitého stacionárního procesu a je-li autokovarianční funkce absolutně integrovatelná, tj γ(t) dt <, pak f(λ) = e itλ γ(t) dt (6) π Důkaz Ze vzorce (4) na straně 3 vidíme, že až na normující konstantu π je mezi γ(t) a f(λ) stejný vztah jako mezi charakteristickou funkcí a hustotou rozdělení Proto lze přímo převzít vzorec pro výpočet hustoty z charakteristické funkce Věta 66 Spektrální hustota f(λ) reálného spojitého stacionárního procesu nebo reálné stacionární posloupnosti je sudá funkce v tom smyslu, že pro ni platí skoro všude vzhledem k Lebesgueově míře a D n k= f(λ) = f( λ) (7)

4 M5 Stochastické modely časových řad Důkaz Nechť {X t, t T } je spojitý stacionární proces Jelikož je reálný, platí pro každé t T, že γ(t) = γ( t) Proto vzhledem k (4) γ(t) = eitλ f(λ)dλ = e itλ f(λ)dλ = γ( t) Substitucí se snadno zjistí, že pravá strana je rovna eitλ f( λ)dλ takže e itλ f(λ)dλ = e itλ f( λ)dλ (8) Je-li f(λ) = skoro všude, je tvrzení věty zřejmé Předpokládejme tedy, že f(λ)dλ = C > Bez újmy na obecnosti můžeme položit C = (jinak stačí místo f(λ) uvažovat f(λ) C ) Pak vzorec (8) ukazuje, že charakteristické funkce příslušející hustotám f(λ) a f( λ) jsou totožné Vzhledem k vzájemně jednoznačnému vztahu mezi rozdělením pravděpodobnosti a charakteristickou funkcí odtud vyplývá tvrzení věty Pro stacionární posloupnosti je důkaz obdobný 7 Odhady středních hodnot a autokovariancí Stochastický proces je matematickým modelem reálného děje náhodného charakteru, který probíhá nepřetržitě v čase Můžeme jej však pozorovat jen v konečných časových intervalech a na základě těchto pozorování určit odhady hodnot charakteristik tohoto procesu - střední hodnoty, rozptylu, autokovarianční funkce, atd Jestliže máme k dispozici dostatečný počet pozorování realizací náhodného procesu, můžeme () Přibližně určit charakteristiky každé realizace náhodného procesu () Přibližné celkové charakteristiky lze získat zprůměrováním předchozích Tato metoda zpracování je však poměrně složitá a vzniká otázka, či by nebylo možné pro stacionární náhodný proces zaměnit tento složitý přístup za mnohem jednodušší, který se zakládá na předpokladu, že střední hodnota nezávisí na čase a korelační funkce na začátku výpočtu Kromě toho vzniká otázka, zda při zpracování pozorování stacionárního náhodného procesu je třeba disponovat několika jejich realizacemi Protože náhodný proces je stacionární a homogenní v čase, je přirozené předpokládat, že jedna jediná realizace s dostatečnou délkou je postačujícím materiálem na získání charakteristik náhodného procesu Při podrobnějším zkoumání této otázky se ukázalo, že existuje takováto možnost, ale ne pro všechny stacionární náhodné procesy Tedy jestliže jediná realizace náhodného procesu pozorovaná v dostatečně dlouhém čase může být považovaná za určitého reprezentanta všech možných realizací, říkáme, že takovéto stacionární stochastické procesy mají ergodickou vlastnost Jestliže určitý náhodný proces nemá tuto vlastnost ergodičnosti, i když je stacionární, potom jeho různé realizace, které se vyskytují s určitými pravděpodobnostmi, mají různý charakter průběhů V tomto duchu, jako by šlo o realizace různých jednodušších stacionárních procesů, které mají svoje individuální charakteristiky V některých případech na neergodičnost stacionárního procesu může působit už jen výskyt jediného náhodného sčítance (tj náhodné proměnné nezávislé na čase) Poznámka 7 Nechť {Y (t) = X(t) + Z, t R} je náhodný proces, kde {X(t), t R} je ergodický stacionární proces definovaný na pravděpodobnostním prostoru (Ω, A, P ) a Z náhodná veličina definovaná na témže pravděpodobnostním prostoru se střední hodnotou μ Z, rozptylem σz a pro niž pro každé t R platí Potom μ Y (t) = μ X + μ Z C(X(t), Z) = γ Y (t) = C(Y (s), Y (s + t)) = C(X(s) + Z, X(s + t) + Z) = = C(X(s), X(s + t)) γ X (t) = γ X (t) + σ Z + C(X(s + t), Z) = + C(Z, X(s + t)) + C(Z, Z) = σz

RNDr Marie Forbelská, PhD 5 Tedy náhodný proces {Y (t), t R} je stacionární proces, ale nemůžeme ho považovat za ergodický, neboť se dá očekávat, že každá jeho realizace se bude charakterem svého průběhu lišit od jiných - v závislosti od toho jakou hodnotu při dané realizaci nabyla náhodná veličina Z Autokovarianční funkce stacionárního procesu Y (t), t R se od autokovarianční funkce stacionárního ergodického procesu {X(t), t R} liší o kladnou složku σ Z Takže pro t se hodnoty γ Y (t) nezmenšují k nule, ale od určitého času t m zůstávají konstantní (= σ Z ) Nyní budeme definovat ergodičnost stacionárních procesů přesněji matematicky v souvislosti s konstrukcí odhadů některých charakteristik stacionárních procesů 7 Odhady střední hodnoty Nechť {Y (t), t R} je stochastický proces řádu, který pozorujeme v časovém intervalu, T Nechť jeho konstantní střední hodnota μ je neznámá a je třeba ji odhadnout Definice 7 Odhad střední hodnoty ^μ stacionárního náhodného procesu {Y (t), t, T } pomocí metody nejmenších čtverců (LS Least Squares) je definován vztahem: T ^μ = arg min (Y (t) μ) dt μ R Poznámka 73 Stále budeme předpokládat, že integrály vystupující v jednotlivých vztazích existují a dají se v nich zaměnit pořadí integrování a střední hodnoty Snadno lze odvodit, že odhad střední hodnoty pomocí LS metody je roven ^μ = ^μ LS = T T Y (t)dt (9) neboť = d T ( Y (t) μy (t) + μ ) T dt = dμ T = T μ Y (t) dt T Y (t)dt + μ =T Věta 74 Odhad střední hodnoty pomocí metody nejmenších čtverců je nestranný a jeho střední kvadratická chyba je rovna dt MSE(^μ) = T T ( u ) γ Y (u) du () T Důkaz Nestrannost: E ^μ = E ( T T Y (t)dt ) = T T EY (t) dt = μ T =μ(stac) T =T dt = μ Střední kvadratická chyba v případě nestranného odhadu je rozptylem tohoto odhadu [ MSE(^μ) = E (^μ μ) ] [ = E (^μ E ^μ) ] = D(^μ)

6 M5 Stochastické modely časových řad Počítejme Uvažujme transformaci [ [ MSE(^μ) = E (^μ μ) ] ] T = E Y (t) dt μ T [ ] T = E (Y (t) μ) dt T = { T } T T E (Y (s) μ)(y (t) μ) ds dt = T T T E [(Y (s) μ)(y (t) μ)] γ Y (t s)(stac) = T T T γ Y (t s) ds dt s Jakobiánem J = Protože s, t, T, pak platí a tudíž tedy Tak dostaneme MSE(^μ) = T T T = [ T T [ u = t s v = t T u T v = t T u v = s + u T + u, max{, u} v min{t, T + u} min{t,t +u} γ Y (u) dv du max{,u} ( ) T +u ( T ) ] T γ Y (u) dv du + γ Y (u) dv du u = ] T T γ Y (u)(t + u) du + γ Y (u)(t u) du T = T T γ Y (u)(t u ) du = T T T (T u)γ Y (u) du = T ( u ) [ ] T γ Y (u) du = D(^μ) = D Y (t) dt T T T Pro další studium ergodických procesů je vhodné vyslovit následující definici: Definice 75 Řekneme, že stacionární proces {Y (t), t R} je ergodický ve střední hodnotě, pokud platí [ ] T lim D Y (t) dt = () T T Věta 76 Nechť pro stacionární proces {Y (t), t R} s autokovarianční funkcí γ Y (t) platí T ( lim u ) γ Y (u) du = t T T Potom je náhodný proces {Y (t), t R} ergodický ve střední hodnotě ds

RNDr Marie Forbelská, PhD 7 Důkaz Tvrzení věty plyne ze vztahů (), () a nerovnosti T ( u ) T ( γ Y (u)du T u ) γ Y (u) du T Důsledek 77 Nechť lim t γ Y (t) = Pak stacionární proces s autokovarianční funkcí γ Y (t) je ergodický ve střední hodnotě Důkaz Jestliže lim γ Y (t) =, t pak také lim γ Y (t) = t Pak pro libovolně malé ε > existují dostatečné velká T, T R (T < T ) taková, že pro každé t > T, platí Pak lim T D [ T T Poznamenejme, že jestliže platí pak také pro autokorelační funkci platí Y (t) dt ] γ Y (t) < ε T = lim T T lim T T lim T T = lim T T T T ( u ) γ Y (u) du T ( u ) γ Y (u) du T γ Y (u) du T γ Y (u) γ Y () ( lim T [ T T γ Y () + T du + γ Y (u) T < ε T ) ] ε = T ergodicita ve střední hodnotě lim γ Y (t) =, t lim ρ γ Y (t) Y (t) = lim t t γ Y () =, což znamená, že síla lineárních vazeb mezi jednotlivými náhodnými veličinami, které tvoří daný stacionární proces {Y (t), t R}, jakmile se tyto od sebe neustále vzdalují, postupně slábne, tj jejich korelační koeficient 7 DISKRÉTNÍ NÁHODNÉ PROCESY Při pozorování stacionárních procesů {Y (t), t R} druhého řadu se spojitým časem nejčastěji pozorujeme jen určitou jejich konečnou diskrétní část, tj pro n N v diskrétních časových okamžicích t,, t n R pozorujeme jen náhodný vektor Y = (Y t,, Y tn ) = (Y,, Y n ), který nazýváme diskrétním pozorováním náhodného procesu {Y (t), t R} (anebo diskretizací náhodného procesu {Y (t), t R} se spojitým časem), kde jsme položili t i = i, i =,, n Pak lze snadno ukázat, že obdobným diskrétním ekvivalentem odhadu střední hodnoty je odhad n n Y = T T Y ti n = n Y t, kde Δt = T n i= t i +Δt/ Y (t)dt t i Δt/ t= du

8 M5 Stochastické modely časových řad 7 Odhady autokovarianční a autokorelační funkce Odhad autokovarianční funkce lze analogicky jako v případě střední hodnoty nalézt ve tvaru ^γ Y (τ) = T τ T τ [(Y (t) ^μ) (Y (t + τ) ^μ)] dt Podobně jak jsme výše definovali ergodičnost ve střední hodnotě pro stacionární proces {Y (t), t R}, můžeme definovat i jeho ergodičnost v rozptylu, pokud platí [ ] T lim D (Y (t) μ) dt = T T a jeho ergodičnost v autokovarianční funkci, jestliže platí [ ] T τ lim D (Y (τ + t) μ) (Y (t) μ) dt T T = Snadno lze ukázat, že obdobnými diskrétními ekvivalenty jsou následující odhady: Odhad autokovarianční funkce: pro k =,,, n Odhad autokorelační funkce ACF: pro k =,,, n c k = n k (Y t n k Y )(Y t+k Y ) t= r k = c k c Aby tyto odhady měly praktický význam, požaduje se obvykle n > 5 a k < n 4, neboť odhady { c k } n k= resp { r k } n k= nejsou lineárně nezávislé a s rostoucím k roste i jejich rozptyl 8 Odhady spektrální hustoty 8 Úvod Pojem spektra se vyskytuje nejen v teorii náhodných procesů, ale také v matematice, fyzice a technice Jestliže nějaký proces vlnění je součtem harmonických vlnění (tzv harmonik), tak spektrum procesu vlnění se nazývá funkce, která popisuje rozdělení amplitud podle jednotlivých frekvencí Spektrum ukazuje, která vlnění převládají v daném procesu a jaká je jeho vnitřní struktura Spektrum v případě stacionárního náhodného procesu dává rozdělení rozptylů náhodných amplitud podle různých frekvencí vlnění V celém tomto odstavci proto budeme předpokládat, že náhodný proces {Y t, t T } je stacionární, centrovaný a druhého řádu (tj s konečnými druhými momenty) 8 Periodogram V dalším budeme předpokládat, že {Y t, t Z} je centrovaná stacionární náhodná posloupnost Definice 8 Nechť Y,, Y n jsou pozorování náhodné posloupnosti {Y t, t Z} Pak periodogram definujeme vztahem I n (ω) = n πn Y t e itω ω π, π t=

RNDr Marie Forbelská, PhD 9 Lemma 8 Položme pak platí Důkaz I n (ω) = πn = πn A n (ω) = n n Y t cos tω B n (ω) = t= n I n (ω) = [ ] A 4π n(ω) + Bn(ω) n Y t sin tω, t= n Y t e itω = n n Y πn t cos tω i Y t sin tω = t= t= t= ( n ( n ) Y t cos tω) + Y t sin tω = 4π t= t= Poznámka 83 Někteří autoři definují periodogram poněkud jinak: I n(ω) * = n [ ] Y n t e itω = A n(ω) + Bn(ω) = 4πI n (ω) t= [ ] A n(ω) + Bn(ω) Lemma 84 Pokud označíme pro k =,,, n pak platí Důkaz I n (ω) = [ π I n (ω) = πn = πn = πn = πn C + ( n n k= C k = n k Y t Y t+k n k C * k = n Y t cos tω) + t= ) ( n [ ( n n Y t cos tω t= n t= s= n n t= s= n k t= t= Y t Y t+k ] ( ) k n C k cos kω = [ π ( n Y t sin tω t= ) Y s cos sω s= ) Y t Y s (cos tω cos sω + sin tω sin sω) Y t Y s cos ω(s t) Zavedeme-li dále substituci k = s t, pak n + k n a C * + n k= ( n ) ( n + Y t sin tω t= C * k cos kω ] Y s sin sω s= ) ] a pak platí t n s=t+k n k t n k I n (ω) = πn n k= n+ max(, k týká se záporných k cos kω min(n,n k) t=max(, k) týká se kladných k ) t min(n, n k) Y t Y t+k

3 M5 Stochastické modely časových řad Nyní vezměme zvlášť případy, kdy k = a ostatní, přičemž využijme faktu, že funkce cos je sudou funkcí Dostaneme proto I n (ω) = π = π I n (ω) = π n n t= C Y t + π + n n k π k= n k= (n ) n n t= C * Y t + n π k= ( k= n+ n k n n cos kω n k k n + π cos kω n n cos kω Y t Y t+k n k t= k C k =C k n k t= C k ) C k cos kω = π k= n+ n k t= C k * Y t Y t+k Y t Y t+k = [ C + cos kω n Y t Y t+k n t= k C k * =C* k = ( C * + π n k= n k= ( k ) ] C k cos kω n C * k cos kω Poznámka 85 K numerickému výpočtu hodnot periodogramu se často používají právě předchozí vzorce Poznámka 86 Pro teoretické účely bývá výhodnější tato varianta I n (ω) = π n k= (n ) ( k n Pro náhodnou posloupnost {Y t, t T Z} platí f(ω) = π ) C k cos kω = π t= γ(t) cos tω n k= (n ) ) C * k cos kω ( ) Veličiny k n C k, (resp C k * ) můžeme považovat za jakýsi odhad γ(k) a periodogram se tudíž dá považovat za empirický odhad spektrální hustoty Vlastnosti tohoto odhadu udává následující věta Věta 87 Jestliže {Y t, t T Z} je stacionární náhodná posloupnost s nulovou střední hodnotou a se spojitou spektrální hustotou f(ω), pak má periodogram I n (ω) následující vlastnosti: lim EI n(ω) = f(ω) n lim DI n(ω) = n { f (ω) f (ω) ω π, π ω, ω ( π, π), ω =, ±π Důkaz viz Forbelská(9) Z předchozí věty vyplývá () Periodogram I n (ω) je asymptoticky nestranným odhadem spektrální hustoty () Periodogram I n (ω) není konzistentním odhadem spektrální hustoty, neboť jeho rozptyl nekonverguje k nule, vzrůstá-li neomezeně délka posloupnosti n

RNDr Marie Forbelská, PhD 3 83 Neparametrické odhady spektrální hustoty (Window Spectral Estimation) Neparametrické odhady spektrální hustoty centrované stacionární náhodné posloupnosti {Y t, t Z} jsou založeny na zlepšení vlastností periodogramu Periodogram je empirickým odhadem spektrální hustoty, který je asymptoticky nestranný, avšak nekonzistentní Připomeňme, že platí (viz lemma 84) Využijme dále vztahů a Upravujme postupně I n (ω) = πn n t= C * k = C* k, kde C* k = n [ I n (ω) = π [ = π = π Y t e itω = π n k t= cos kω = C * + n C * + n k= (n ) [ C * + n k= C * k cos kω ] Y t Y t+k pro k =, ±, ±,, ±(n ) k= ( e ikω + e ikω) C k * eikω + n s= (n ) C * k e ikω ] C k * e ikω k= ] C se * isω + n C k * e ikω Periodogram (jakožto odhad spektrální hustoty) je založen na všech možných odhadech autokovariační funkce v bodech k =,±,±,,±(n ), tj ( ) C * = n Y + + Yn n členů C * = C* = n (Y Y + + Y n Y n + Y 3 Y n ) n členů C n 3 * = C* (n 3) = n (Y Y n + Y Y n + Y 3 Y n ) 3 členy C n * = C* (n ) = n (Y Y n + Y Y n ) členy C n * = C* (n ) = n Y Y n člen a tedy je založen i na velmi málo kvalitních odhadech K určitému zlepšení jistě dojde, pokud budeme používat jen m n nejkvalitnějších odhadů Mluvíme pak o prostém useknutém periodogramu což lze také zapsat takto kde ^f n (ω) = π ^f n (ω) = π n k= (n ) m C k * k= m w(k)c * k cos kω = π cos kω = π m k= m { k m w(k) = k > m Označme Fourierovu transformaci funkce w(k) W (ω) = π w(k)e ikω = π k= k= n k= (n ) C * k e ikω, m e ikω k= m w(k)c * k e ikω, a řadu přeindexujeme tak, aby indexy šly od do m +, tj položme s = k + m +, pak k = s m a

3 M5 Stochastické modely časových řad (a) pro ω kπ je W (ω) = π m+ s= e i(s m )ω = m+ π ei(m+)ω = π e isω s= e i(m+)ω eimω e iω ( m+ m+ i ω i e ( ) e i ω e i ω e i ω e = π eimω = sin(m+ )ω π sin ω kde D m (ω) je tzv Dirichletovo jádro, (b) pro ω = kπ je W (ω) = m + Vzhledem k tomu, že lze psát = D m (ω), I n (ω) = π m+ ) ω i ω e n k= (n ) C * k e ikω, vidíme, že I n (ω) je Fourierovou transformací C k *, takže naopak lze pomocí inverzní Fourierovy transformace psát C k * = π I n (θ)e ikθ d θ Počítejme postupně ^f n (ω) = π = π = π π = π π n π w(k)c k * e ikω k= (n ) n k= (n ) I n (θ) π w(k) π π n k= (n ) W (ω θ) I n (θ)w (ω θ)d θ I n (θ)e ikθ d θe ikω w(k)e ik(ω θ) Jde o tzv vyhlazený periodogram (smoothed periodogram) Funkce W (ω) se nazývá spektrální okénko (spectral window) Tato funkce má do jisté míry aproximovat Diracovu δ funkci a platí pro ni π W (ω)dω = π Takto počítat odhad spektrální hustoty by však bylo (vzhledem k málo hladkému průběhu periodogramu) nepohodlné, proto se obvykle odhad počítá podle vzorce ^f n (ω) = n π w(k)c k * e ikω, k= (n ) přičemž inverzní Fourierova transformace w(k) = π W (θ)e ikθ dθ, k =, ±, ±, ± (n ) π se nazývá korelační okénko (covariance lag window, nebo time-domaing window) Typickými korelačními okénky jsou tzv useknutá okénka, pro která existuje takové přirozené číslo m (bod useknutí, truncation point) tak, že w(k)= pro k >m (m se obvykle volí v rozmezí od n 6 do n 5 ) d θ Příklady korelačních a spektrálních okének Prostý useknutý odhad: